softmax

通过Softmax函数就可以将多分类的输出值转换为范围在[0, 1]和为1的概率分布。
Softmax函数可以将上一层的原始数据进行归一化，转化为一个（0，1）之间的数值，这些数值可以被当做概率分布，用来作为多分类的目标预测值。Softmax函数一般作为神经网络的最后一层，接受来自上一层网络的输入值，然后将其转化为概率。
由于指数函数曲线是呈现递增趋势，即斜率逐渐增大。这种函数曲线能够将输出的数值拉开距离。

在深度学习中通常使用反向传播求解梯度进而使用梯度下降进行参数更新的过程，而指数函数在求导的时候比较方便。
指数函数的曲线斜率逐渐增大虽然能够将输出值拉开距离，但是也带来了缺点，当Z值非常大的话，计算得到的数值也会变的非常大，数值可能会溢出。有对应的优化方法解决这个问题。