Softmax（归一化指数函数）

在讲softmax前先讲softmax的二分类情况，也就是logistics regression（逻辑回归），虽然它叫回归，但是它是分类器，注意！！！

逻辑回归：

是二分类，用来估计某个实例属于特定类别的概率，概率估算：

 

代价函数：

简单来说就是需要让原本属于正类的样本的p值提升，让原本属于负类的p值减小。用优化器求解

 

softmax：

softmax是逻辑回归推广到多分类问题的结果，这是一个很重要的函数，也常作为前馈神经网络的输出层。

首先计算每个实例x的每个类别k的分数：

注意每个类别k的权值系数是一样的。然后计算该实例属于每个类别的概率：

它的代价函数叫“交叉熵”：

m是样本个数，若第i个实例属于第j类， ，否则为0。请注意softmax不适合多标签输出，如要辨认一张图上有李子和苹果就不行，它只适合单个输出。