李宏毅ML lecture-4,5 分类以及逻辑回归

交叉熵（cross-entropy）

http://neuralnetworksanddeeplearning.com/chap3.html#the_cross-entropy_cost_function

首先定义正向传播算法：
$$z=wx+b\text{\hspace{1em}(1)}$$
$$a=\sigma (z)\text{\hspace{1em}(2)}$$
定义loss为交叉熵：
$$C=-\frac{1}{n}\sum _x\left[y\ln a+(1-y)\ln (1-a)\right]\text{\hspace{1em}(1)}$$
应用链式法则计算反向传播：
$$\begin{gathered} \frac{\partial C}{\partial w_j}=-\frac{1}{n}\sum _x\frac{\partial C}{\partial a}\frac{\partial a}{\partial z}\frac{\partial z}{\partial w_j} \\ =-\frac{1}{n}\sum _x\left(\frac{y}{a}-\frac{(1-y)}{1-a}\right){\sigma }^{\prime }(z)x_j. \\ =\frac{1}{n}\sum _x\frac{(a-y){\sigma }^{\prime }(z)x_j}{a(1-a)} \end{gathered}$$
已知sigmod函数的导数：
$${\sigma }^{\prime }(z)=\sigma (z)(1-\sigma (z))=a(1-a)$$
所以：
$$\frac{\partial C}{\partial w_j}==\frac{1}{n}\sum _x(\sigma (z)-y)x_j$$
同理可得：
$$\frac{\partial C}{\partial b}==\frac{1}{n}\sum _x(a-y)$$
为什么在分类的问题需要使用交叉熵而不是欧式距离呢？
$$C=\frac{(y-a{)}^2}{2},$$
$$\frac{\partial C}{\partial w}=(a-y){\sigma }^{\prime }(z)x=$$
$$\frac{\partial C}{\partial b}=(a-y){\sigma }^{\prime }(z)$$
答案就在梯度公式中，