softmax函数和softmax_loss

softmax 函数

softmax(柔性最大值)函数，一般在神经网络中， softmax可以作为分类任务的输出层。其实可以认为softmax输出的是几个类别选择的概率，比如我有一个分类任务，要分为三个类，softmax函数可以根据它们相对的大小，输出三个类别选取的概率，并且概率和为1。

softmax函数的公式是这种形式： 

Si=ezi∑kezkSi=ezi∑kezk

SiSi代表的是第i个神经元的输出。 
ok，其实就是在输出后面套一个这个函数，在推导之前，我们统一一下网络中的各个表示符号，避免后面突然出现一个什么符号懵逼推导不下去了。 
首先是神经元的输出，一个神经元如下图： 

神经元的输出设为： 

其中是第i个神经元的第j个权重，b是偏移值。表示该网络的第i个输出。 
给这个输出加上一个softmax函数，那就变成了这样： 

aiai代表softmax的第i个输出值，右侧就是套用了softmax函数。

 

损失函数 loss function

在神经网络反向传播中，要求一个损失函数，这个损失函数其实表示的是真实值与网络的估计值的误差，知道误差了，才能知道怎样去修改网络中的权重。

损失函数可以有很多形式，这里用的是交叉熵函数，主要是由于这个求导结果比较简单，易于计算，并且交叉熵解决某些损失函数学习缓慢的问题。交叉熵的函数是这样的： 

其中yiyi表示真实的分类结果。 
到这里可能嵌套了好几层，不过不要担心，下面会一步步推导，强烈推荐在纸上写一写，有时候光看看着看着就迷糊了，自己边看边推导更有利于理解~

 

最后的准备

在我最开始看softmax推导的时候，有时候看到一半不知道是怎么推出来的，其实主要是因为一些求导法则忘记了，唉~ 
所以这里把基础的求导法则和公式贴出来~有些忘记的朋友可以先大概看一下：