深度学习 前向后向传播公式推导

假设，该样本3种特征，分别为$x_1$,$x_2$,$x_3$,

1.1单个样本，用标量表示

那么对于向前传播的公式可以得到:
$z=w_1x_1+w_2x_2+w_3x_3+b$,

激活函数用（$activation \ function$）:
$a=g(z)$ (其中$g$可以为$relu$或者$sigmoid$函数)

损耗函数（$cost\ function$）:
$\mathcal{L}(a, y)= - y\log(a) - (1-y) \log(1-a)$

反向传播需要用到的导数可以为:

$dz=da* g'(z)$
$dw_1=x_1 *dz$
$dw_3=x_2 *dz$
$dw_2=x_3 *dz$
$db=dz$
$dx_1=w_1 *dz$