多分类单标签，softmax函数

下面给出Softmax函数的定义（以第i个节点输出为例）：

其中 Zi 为第i个节点的输出值，C为输出节点的个数，即分类的类别个数。通过Softmax函数就可以将多分类的输出值转换为范围在[0, 1]和为1的概率分布。

引入指数形式的优点：
指数函数曲线呈现递增趋势，最重要的是斜率逐渐增大，也就是说在x轴上一个很小的变化，可以导致y轴上很大的变化。这种函数曲线能够将输出的数值拉开距离。

在深度学习中通常使用反向传播求解梯度进而使用梯度下降进行参数更新的过程，而指数函数在求导的时候比较方便。比如

引入指数形式的缺点
指数函数的曲线斜率逐渐增大虽然能够将输出值拉开距离，但是也带来了缺点，当 Zi 值非常大的话，计算得到的数值也会变的非常大，数值可能会溢出。
当然针对数值溢出有其对应的优化方法，将每一个输出值 Zi 减去输出值中最大的值max(Zi)。

这里需要注意一下，当使用Softmax函数作为输出节点的激活函数的时候，一般使用交叉熵作为损失函数。由于Softmax函数的数值计算过程中，很容易因为输出节点的输出值比较大而发生数值溢出的现象，在计算交叉熵的时候也可能会出现数值溢出的问题。为了数值计算的稳定性，TensorFlow提供了一个统一的接口，将Softmax与交叉熵损失函数同时实现，同时也处理了数值不稳定的异常，使用TensorFlow深度学习框架的时候，一般推荐使用这个统一的接口，避免分开使用Softmax函数与交叉熵损失函数。

TensorFlow提供的统一函数式接口为：

tf.keras.losses.categorical_crossentropy(y_true, y_pred, from_logits = False)

但是当遇到一些不正常的数值时，将from_logits设置为True时TensorFlow会启用一些优化机制。因此推荐使用将from_logits参数设置为True的统一接口。

参考链接：
https://zhuanlan.zhihu.com/p/105722023