Softmax 函数介绍

softmax函数

softmax用于多分类过程中，它将多个神经元的输出，映射到（0,1）区间内，可以看成概率来理解，从而来进行多分类！
假设我们有一个数组，V，Vi表示V中的第i个元素，那么这个元素的softmax值就是

$$S_i=\frac{e^i}{\sum_{j} e^j}$$
更形象的如下图表示：

　　softmax直白来说就是将原来输出是3,1,-3通过softmax函数一作用，就映射成为(0,1)的值，而这些值的累和为1（满足概率的性质），那么我们就可以将它理解成概率，在最后选取输出结点的时候，我们就可以选取概率最大（也就是值对应最大的）结点，作为我们的预测目标！
　　一个我最近碰到利用softmax的例子：我现在要实现基于神经网络的句法分析器。用到是基于转移系统来做，那么神经网络的用途就是帮我预测我这一个状态将要进行的动作是什么？比如有10个输出神经元，那么就有10个动作，1动作，2动作，3动作…一直到10动作。（这里涉及到nlp的知识，大家不用管，只要知道我现在根据每个状态（输入），来预测动作（得到概率最大的输出），最终得到的一系列动作序列就可以完成我的任务即可）
　　原理图如下图所示：

　　那么比如在一次的输出过程中输出结点的值是如下：　　　　　　　　　[0.2,0.1,0.05,0.1,0.2,0.02,0.08,0.01,0.01,0.23]那么我们就知道这次我选取的动作是动作10，因为0.23是这次概率最大的，那么怎么理解多分类呢？很容易，如果你想选取俩个动作，那么就找概率最大的俩个值即可~（这里只是简单的告诉大家softmax在实际问题中一般怎么应用）

softmax相关求导

　　当我们对分类的Loss进行改进的时候，我们要通过梯度下降，每次优化一个step大小的梯度，这个时候我们就要求Loss对每个权重矩阵的偏导，然后应用链式法则。那么这个过程的第一步，就是对softmax求导传回去，不用着急，我后面会举例子非常详细的说明。在这个过程中，你会发现用了softmax函数之后，梯度求导过程非常非常方便！下面我们举出一个简单例子，原理一样，目的是为了帮助大家容易理解！
　　
　　我们能得到下面公式：

$$z4 = w41*o1+w42*o2+w43*o3$$ $$z5 = w51*o1+w52*o2+w53*o3$$ $$z6 = w61*o1+w62*o2+w63*o3$$
　　z4,z5,z6分别代表结点4,5,6的输出，01,02,03代表是结点1,2,3往后传的输入.那么我们可以经过softmax函数得到
　　 $a4=\frac{e^{z4}}{e^{z4}+e^{z5}+e^{z6}}$ $a5=\frac{e^{z5}}{e^{z4}+e^{z5}+e^{z6}}$ $a4=\frac{e^{z6}}{e^{z4}+e^{z5}+e^{z6}}$
　　 要使用梯度下降，肯定需要一个损失函数，这里我们使用交叉熵作为我们的损失函数，为什么使用交叉熵损失函数，不是这篇文章重点，**后面有时间会单独写一下为什么要用到交叉熵函数（这里我们默认选取它作为损失函数）
　　交叉熵函数形式如下：
　　 $$Loss=-\sum_{i} y_ilna_i$$
　　其中y代表我们的真实值，a代表我们softmax求出的值。i代表的是输出结点的标号！在上面例子，i就可以取值为4,5,6三个结点 （当然我这里只是为了简单，真实应用中可能有很多结点）
　　 但是实际上不是这样的，我们往往在真实中，如果只预测一个结果，那么在目标中只有一个结点的值为1，比如我认为在该状态下，我想要输出的是第四个动作（第四个结点）,那么训练数据的输出就是a4 = 1,a5=0,a6=0，哎呀，这太好了，除了一个为1，其它都是0，那么所谓的求和符合，就是一个幌子，我可以去掉啦！
　　 为了形式化说明，我这里认为训练数据的真实输出为第j个为1，其它均为0！

　　 w51…..w63等参数的偏导同理可以求出，那么我们的关键就在于Loss函数对于结点4,5,6的偏导怎么求，如下：
　　 这里分为俩种情况：

　　j=i对应例子里就是如下图所示：
　　比如我选定了j为4，那么就是说我现在求导传到4结点这！
　　
　　

propagation就可以了

作者：忆臻
链接：https://www.zhihu.com/question/23765351/answer/240869755
来源：知乎
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。