10分钟，关于softmax，softmax loss理解

最近在开荒一篇商汤科技使用AutoML方法设计的Loss函数的文章《AM-LFS AutoML for Loss Function Search》，其中以常用的损失函数Softmax损失函数以及变种进行了分析，为了开荒方便，先对Softmax进行一个梳理总结。

【1、softmax函数介绍】

softmax是一个函数，其输出值是一个向量并取值为[0,1]，公式见下，其中代表总类别数，表示输出第个位置的数值。

为了理解公式首先理解下我们的CNN网络中Softmax的作用（以下经典的CNN中全连接层为例）

【2、softmax loss】

损失函数定义如上，其是softmax函数的输出向量prob[T*1]的第个值，其表示的这个样本输入这个类别的概率，的取值就o或者1，当得到分类结果正确（最大概率值对应的标签=真实标签）时，取值为1，其它情况取值为0。通过以下对数函数的图像，及能明白，当我们得到正确分类项得到的概率值越低的时候，对应其损失函数也就越大。