softmax函数

1.softmax函数：

1.1函数定义：

1.2函数作用：

将线性预测值转为类别概率。

1.3举例：

一个多分类问题，C=4，线性分类器模型最后输出层包含了4个输出值，分别是：

经过Softmax计算过，数值转为相对概率：

 

详解：

 

 2.极大似然取对数+负号处理：

上述操作原因：

3.Softmax-Loss ：

 

 参考文献：

1.http://freemind.pluskid.org/machine-learning/softmax-vs-softmax-loss-numerical-stability/

 注：本文属于个人理解，如若有错，欢迎指正！