【深度学习基础】后向传播算法手推

对于1个样本，其前向传播图为：

下面计算反向传播过程：

假设logistic回归与激活函数如下：

$$\begin{gathered} L(a,y)=-(y\log (a)+(1-y)\log (1-a)) \\ a=\sigma (z)=\frac{1}{1+e^{-z}} \\ {a}^{\prime }=\sigma (z)(1-\sigma (z))=a(1-a) \end{gathered}$$

第一步：

$$da=\frac{dL(a,y)}{da}=-\frac{y}{a}+\frac{1-y}{1-a}$$

第二步：

$$dz=\frac{dL}{dz}=\frac{dL}{da}\frac{da}{dz}$$

$$\begin{array}{rl}dz& =(-\frac{y}{a}+\frac{1-y}{1-a})(a(1-a))\\ & =a-y\end{array}$$

第三步：

$$\begin{gathered} d{w}_1=x_{1}dz \\ d{w}_2=x_{2}dz \\ db=dz \end{gathered}$$

故最后的梯度更新为（$\alpha$为学习率）：

$$\begin{gathered} w_1=w_1-\alpha d{w}_1 \\ {w}_2=w_2-\alpha d{w}_2 \\ b=b-\alpha db \end{gathered}$$

对于m个样本：

$$J(w,b)=\frac{1}{m}\sum _{i=1}^{m}L(a^{(i)},y^{(i)})$$

加右上角标即可。

伪代码【可以使用向量化减少显式循环】：

J = 0; 
dw_1 = 0; dw_2 = 0; db = 0;
for i=1 to m:
    z[i] = w*x[i]+b
    a[i] = sigmoid(z[i])
    J += logistic(a[i],y[i])
    dz[i] = a[i]-y[i]
    # 这里如果有多个特征w，仍然需要嵌套循环
    dw_1 += x_1[i]*dz[i]
    dw_2 += x_2[i]*dz[i]
    db += dz[i]
J /= m;
dw_1 /= m; dw_2 /= m; db /= m;

w_1 = w_1 - a*dw_1 
w_2 = w_2 - a*dw_2 
b = b - a*db