- 简介
S o f t m a x Softmax Softmax 函数
S o f t m a x Softmax Softmax 函数在神经网络分类是十分常用的函数,如下所示,在神经元output layer中,可以输出一个 R 4 R^{4} R4 维度的向量,来进行分类,例如输出层为向量 O = [ 0.2 , 0.1 , 0.4 , 0.3 ] O=[ 0.2,0.1,0.4,0.3 ] O=[0.2,0.1,0.4,0.3], 可根据向量中元素大小(元素之和为1)来判断该输入(可以是图片,也可以是文字)属于哪一类,而在这种分类的情况中, S o f t m a x Softmax Softmax 函数就起到了十分重要的作用。
S o f t m a x Softmax Softmax 函数的公式为: a i = e z i ∑ j = 1 n e z j a_{i}=\frac{e^{z_{i}}}{\sum^{n}_{j=1}e^{z_{j}}} ai=∑j=1nezjezi
其中, a i a_{i} ai 为第 i i i 个神经元经过 S o f t m a x Softmax Softmax 函数得到的值, z i z_{i} zi 为第 i i i 个神经元的输出值,其计算公式为 $ z_{i}=W_{i}*x+ b $ $(W_{i}为权重矩阵W_{ij} 的第i行)。 $
代价函数交叉熵
为了计算损失函数,我们使用交叉熵代价函数,有 L o s s = − ∑ i n y i l o g a i Loss = -\sum^{n}_{i}y_{i}loga_{i} Loss=−∑inyilogai
其中 y i y_{i} yi 代表第 a i a_{i} ai 个输出的真实值。
- Softmax函数交叉熵的求导
1)
对于Softmax函数的求导,用得最多的应该是链式法则,对于链式法则,举个例子如下:
设我们有函数 g ( f ( x ) ) g(f(x)) g(f(x)), 则 ∂ g ( f ( x ) ) ∂ x = ∂ g ( f ( x ) ) ∂ f ( x ) \frac{\partial{ g(f(x))}}{\partial{x}} = \frac{\partial{ g(f(x))}}{\partial{f(x)}} ∂x∂g(f(x))=∂f(x)∂g(f(x)) ∂ f ( x ) ∂ x \frac{\partial{ f(x)}}{\partial{x}} ∂x∂f(x), 这就是链式法则。
2)
对于交叉熵函数求导,首先,我们要求导的是交叉熵对神经元输出的梯度: ∂ L ∂ z i \frac{\partial{L}}{\partial{z_{i}}} ∂zi∂L
根据链式法则,我们有: ∂ L ∂ z i = ∂ L ∂ a j \frac{\partial{L}}{\partial{z_{i}}} = \frac{\partial{L}}{\partial{a_{j}}} ∂zi∂L=∂aj∂L ∂ a j ∂ z i \frac{\partial{a_{j}}}{\partial{z_{i}}} ∂zi∂aj
其中, 使用 a j a_{j} aj 是因为对 S o f t m a x Softmax Softmax函数包含了所有神经网络输出的和,即 a i = e z i ∑ j = 1 n e z j a_{i} = \frac{e^{z_{i}}}{\sum^{n}_{j=1}e^{z_{j}}} ai=∑j=1nezje