神经网络笔记 - 交叉熵续

为什么选择交叉熵(Why Cross-Entropy)

为了解决学习速度下降的问题,我们希望

$$\frac{\partial C}{\partial w_j}=x_j(a-y)$$
$$\frac{\partial C}{\partial b} = (a-y)$$

如上文所述, 当代码函数为$C$时:

$$\frac{\partial C}{\partial b}=\frac{\partial C}{\partial a}\delta^{'}(z)$$
因为$\delta$函数的性质:

$$\delta^{'}(z)=(1-\delta(z))\delta(z)=a(1-a)$$
于是:
$$\frac{\partial C}{\partial b}=\frac{\partial C}{\partial a}a(1-a)$$
如果要符合期望, 则下式必须成立:
$$\frac{\partial C}{\partial a}=\frac{a-y}{a(1-a)}$$
则反推可以得到
$$C = -[y\ln a + (1-y)\ln(1-a)] + constant$$
这是一个样本的代价函数, 多个样本的话, 自然
$$C = -\frac{1}{n}\sum_x[y\ln a + (1-y)\ln(1-a)] + constant$$

Reference

http://neuralnetworksanddeeplearning.com/