【深度学习】回归问题和分类问题损失函数求导

1.回归问题

$$J=\frac{1}{2N}\sum _{i=1}^N\Vert y^i-\hat{y}{\Vert }^2$$
$$\frac{\partial J}{\partial y^i}=\frac{1}{N}\sum _{i=1}^N(y^i-\hat{y})$$

2.分类问题

先对y进行softmax：
$$S_k=\frac{e^{y_k}}{{\sum }_{i=1}^n{e}^{y_i}}$$
以单个样本为例，网络输出的$\hat{S}(s_1,s_2,...,s_n)$为一个概率分布，n是类别个数；该样本的实际标签一般one-hot形式，$S(0,0,...,1,0,0,..0)$可以看做是（硬）概率分布。
可以考虑KL散度来计算损失。其实，直接根据交叉熵就可以写出损失函数：
这里只考虑单个样本，方便简化运算。
$$\begin{gathered} J=\sum _{k=1}^{n}Slog\hat{S} \\ =-log(s_k)=-log(\frac{e^{y_k}}{{\sum }_{i=0}^{n-1}{e}^{y_i}}) \end{gathered}$$
对$y_k$求导:
∂ J ∂ y k = ∂ ∂ y k { l o g ( ∑ i = 0 n − 1 e y i ) − y k } = e y k ∑ i = 0 n − 1 e y i − 1 \frac{ \partial J}{\partial y_k} = \frac{\partial }{\partial y_k}\{{log (\sum_{i=0}^{n-1}e^{y_i}}) - y_k \} = \frac{e^{y_{k}}}{\sum_{i=0}^{n-1}{e^{y_i}}} - 1 ∂yk​∂J​=∂yk​∂​{log(i=0∑n−1​eyi​)−yk​}=∑i=0n−1​eyi​eyk​​−1
即可以写成 :
$$\begin{gathered} \frac{\partial J}{\partial y_k}=s_k-\delta (i=k)， \\ \delta =1,当i=k时，\delta =0,当i!=k时 \end{gathered}$$
最终写成向量的形式（单个样本形式）:
$$\frac{\partial J}{\partial y}=\hat{S}-S$$