softmax函数笔记

假设我们有一个数组，V，Vi表示V中的第i个元素，那么这个元素的Softmax值就是

 

也就是说，是该元素的指数值，与所有元素指数值和的比值。

其可以看成sigmoid函数在多元分布中的一个推广 。

详见 http://ufldl.stanford.edu/wiki/index.php/Softmax%E5%9B%9E%E5%BD%92

 

在Logistic regression二分类问题中，我们可以使用sigmoid函数将输入Wx+b映射到(0,1)(0,1)区间中，从而得到属于某个类别的概率。将这个问题进行泛化，推广到多分类问题中，我们可以使用softmax函数，对输出的值归一化为概率值。

softmax直白来说就是将原来输出是3,1,-3通过softmax函数一作用，就映射成为(0,1)的值，而这些值的累和为1（满足概率的性质），那么我们就可以将它理解成概率，在最后选取输出结点的时候，我们就可以选取概率最大（也就是值对应最大的）结点，作为我们的预测目标！

 

好处;

1. 公式就非常直观

2. 梯度求导过程非常非常方便

 

参考文章：

https://blog.csdn.net/behamcheung/article/details/71911133

https://zhuanlan.zhihu.com/p/25723112