正向传播，反向传播，矩阵求导

正向传播

正向传播是指数据X传入到神经网络，经过各个隐藏层得到最终损失值的过程。
本次就以逻辑回归模型为例讲解一下正向传播以及反向传播。
逻辑回归模型一般用来解决二分类问题，$\hat{y}=P(y=1\mid x)$表示y = 1的概率，取值范围在[0,1]之间。引入线性模型：
$${\hat{y}}^{(i)}=w^T{x}^{(i)}+b$$
其中$w$是权重系数，$b$是个常数项，$w$的维度为$\left(n_x,1\right)$,可以看出该线性模型的输出区间为整个实数区间，而逻辑回归要求输出范围在[0,1]之间。所以我们需要引入Sigmoid激活函数，逻辑回归预测输出可以写为：
$$\hat{y}=\mathrm{Sigmoid}\left(w^T{x}^{(i)}+b\right)=\sigma \left(w^T{x}^{(i)}+b\right)$$
Sigmoid函数是一种非线性函数，它的表达式以及曲线如下图表示：
$$\text{ Sigmoid }(z)=\frac{1}{1+e^{-z}}$$

Sigmoid函数导数表达式：
$${\sigma }^{\prime }(z)=\sigma (z)(1-\sigma (z))$$
由函数曲线图可以看出，Sigmoid函数的输出范围在[0,1]之间，这样也就将逻辑回归的输出限定在[0,1]之间。常用的激活函数还有Tanh函数、Relu函数、Leaky Relu函数。
逻辑回归模型中，$w$和$b$都是未知参数，需要通过反复训练优化得到最优值。因此，我们需要定义一个cost function，包含了参数$w$和$b$。通过梯度下降法优化cost function，当cost function取值最小时，得到对应的$w$和$b$。cost function定义为：
J ( w , b ) = 1 m ∑ i = 1 m L ( y ^ ( i ) , y ( i ) ) = − 1 m ∑ i = 1 m [ y ( i ) log ⁡ y ^ ( i ) + ( 1 − y ( i ) ) log ⁡ ( 1 − y ^ ( i ) ) ] \begin{array}{c} J(w, b)=\frac{1}{m} \sum_{i=1}^{m} L\left(\hat{y}^{(i)}, y^{(i)}\right)=-\frac{1}{m} \sum_{i=1}^{m}\left[y^{(i)} \log \hat{y}^{(i)}+\left(1-y^{(i)}\right) \log \left(1-\hat{y}^{(i)}\right)\right] \end{array} J(w,b)=m1​∑i=1m​L(y^​