从logistic回归到神经网络——理论与实践

参考Andrew NG Coursera课程《Neural Networks and Deep Learning》
有任何问题请联系 languoxing@126.com

本文是深度学习入门教程序列的第一篇，通过介绍logistic回归的原理，进而引入一层神经网络的前向传播和后向传播公式，并提供了示例代码。

1.logistic回归详解

logistic回归模型是用来解决二分类问题的，因此我们将首先在概率的框架下描述什么是分类问题。分类问题的一般描述如下图所示：

图1.1 分类问题的一般描述

用X代表输入空间，是输入向量的所有可能取值的集合，也叫特征空间；Y代表输出空间，是输出的所有可能取值的集合。$x^{(i)}\in X$代表特征空间的一个样本，$y^{(i)}\in Y$代表其类别（标签）。分类问题的一般描述可总结为：利用已知标签的训练集$X_{train}$训练出一个模型，该模型包含一个映射关系$h:X\to Y$，$h$应该能够对新的数据点$x^{(m+1)}$预测其类别$y^{(m+1)}$，并且预测结果应该尽可能好。通常情况下，这种“好”的标准为正确率尽可能高。

以二分类问题为例，用0和1代表可能的类别，也即 Y = { 0 , 1 } Y=\{0,1\} Y={0,1}。我们从概率的框架下来讨论二分类问题：给定输入特征向量$x$，我们希望估计出它分别属于两类的概率$P(y=0|x;\theta )$和$P(y=1|x;\theta )$。因为现在讨论的是二分类问题，可令$\hat{y}=P(y=1|x;\theta )$，那么只要估计出$\hat{y}$就可以了。在估计之前，需要选择合适形式的函数对各类别的后验概率建模，一种最简单也是最笨的方法就是令$\hat{y}=w^{T}x+b$，也即线性回归。但是这样可能会导致$\hat{y}$的值大于1或者大于0，这和概率的定义相违背。因此，我们可以在线性回归的表达式前面加上一层sigmoid函数，也即$\hat{y}=\sigma \left({\omega }^{T}x+b\right)$。sigmoid函数的表达式为：
$$\begin{gathered} \sigma (z)=\frac{1}{1+e^{-z}} \\ \text{\hspace{1em}(1-1)} \end{gathered}$$
其函数图像为：

到此，我们得到了logistic回归模型：
$$\hat{y}=\frac{1}{1+e^{(-{\theta }^{T}x)}}\text{\hspace{1em}(1-2)}$$
注意，在$(1-2)$中，我们将参数项b用$x_0$表示，这样能够写成更紧凑的形式。为了突出参数$\theta$，我们用$h_{\theta }$表示公式$(2)$中的函数，它代表了在已知特征$x$的情况下，类别为$y=1$的概率，也即$P(y=1|x;\theta )=h_{\theta }$；显然,$P(y=0|x;\theta )=1-h_{\theta }$
假设我们的目标是让分类的错误率最小（即最小错误率决策准则，这是最普遍的一种分类准则）。不难证明，最小化错误等价于最大化各类的后验概率。因此，若$(1-2)$的值大于0.5，则判定为类别1；否则判定为类别0。

注意，logistic模型仍然是一个线性分类模型，因为它的决策面是$0=w^{T}x+b$，我一个线性决策面。

2.损失函数的选取

选取好了模型后，接下来要选取损失函数（Loss function），然后在训练集上利用一定的算法（例如梯度下降法）最小化损失函数，从而确定$h_{\theta }$中的参数$\theta$。一种很自然的想法是选取$L\left(\hat{y},y\right)=\frac{1}{2}{\left(\hat{y}-y\right)}^2$作为损失函数，但是这会导致在后面学习参数的过程中，最优问题不是一个凸问题。我们在这里采用极大似然估计的方法来推导出一个更合理的损失函数，并且该损失函数是凸函数。

2.1.最大化后验概率与极大似然估计

回忆一下极大似然估计的思想：对于可观测的样本$X$及其观测值$Y$，写出该观测值的概率表达式（记为$L\left(\theta \right)$)，该概率表达式一般依赖于参数$\theta$，极大似然估计的目标是寻找$\theta$的估计值$\hat{\theta }$使得$L\left(\theta \right)$最大。
对于某一个观测样本$x^{(i)}$和观测值$y^{(i)}$,有：
$$\begin{array}{rl}L(\theta )& =P(y^{(i)}|x;\theta )\\ & =(h_{\theta }(x){)}^{1\left(y^{(i)}=1\right)}(1-h_{\theta }(x){)}^{1\left(y^{(i)}=0\right)}\\ & =(h_{\theta }(x){)}^y(1-h_{\theta }(x){)}^{1-y}\end{array}\text{\hspace{1em}(2-1)}$$
$L(\theta )$也叫似然函数。
对数似然函数为：
$$\begin{array}{rl}l(\theta )& =\log L(\theta )\\ & =y\log \left(h_{\theta }(x)\right)+(1-y)\log (1-h_{\theta }(x))\end{array}\text{\hspace{1em}(2-2)}$$
$(2-2)$就是单个样本的损失函数。下面讨论训练集上的代价函数（cost function）。
对于多个观测样本$X$和观测值$Y$，似然函数可写成：
$$\begin{array}{rl}L(\theta )& =P(\mathbf{Y}|\mathbf{X};\theta )\\ & =\prod _{i=1}^{m}P(y^{(i)}|x^{(i)};\theta )\\ & =\prod _{i=1}^m(h_{\theta }(x^{(i)}){)}^{y^{(i)}}(1-h_{\theta }(x^{(i)}){)}^{1-y^{(i)}}\end{array}\text{\hspace{1em}(2-3)}$$
对数似然函数为：
$$\begin{array}{rl}l(\theta )& =\log L(\theta )\\ & =\sum _{i=1}^m{y}^{(i)}\log h_{\theta }(x^{(i)})+(1-y^{(i)})\log (1-h_{\theta }(x^{(i)}))\end{array}\text{\hspace{1em}(2-4)}$$
因为对数似然函数需要最大化，而损失函数需要最小化，因此我们选择如下表达式作为损失函数：
$$J(\theta )=-\frac{1}{m}\left[\sum _{i=1}^m{y}^{(i)}\log h_{\theta }(x^{(i)})+(1-y^{(i)})\log (1-h_{\theta }(x^{(i)}))\right]\text{\hspace{1em}(2-5)}$$
$(2-5)$就是代价函数（cost function），它等价于对所有的$(2-2)$取平均。
损失函数（loss function）是定义在单个样本上的，代价函数（cost function）是定义在多个样本上的。

3.梯度下降方法求解最优的参数$w$和$b$（一层神经网络）

利用logistic可以构造一个只含有输出层的神经网络，其结构图如下：

图3.1 用logistic回归表示的单层神经网络结构图

下面介绍其作为神经网络时的前向传播、反向传播过程，为后面理解更复杂的神经网络打下基础。
logistic回归的代价函数的凸函数，因此可以用梯度下降的方法求得全局最优值，并且与初始化的方式无关，一般利用零初始化。
$$\begin{array}{rl}w& :=w-\alpha \frac{\partial J(w,b)}{\partial w}\\ b& :=b-\alpha \frac{\partial J(b,b)}{\partial b}\end{array}\text{\hspace{1em}(3-1)}$$
注意，Andrew NG在Cousera开设的深度学习课程中，求偏导用的是符号$d$，我们这里不区分$\partial$和$d$。
下面我们讨论只有输入层和输出层（激活函数为sigmoid函数）的简单神经网络的前向传播和反向传播过程，也即logistic回归。

3.1.前向传播

$$\begin{array}{rl}X& =\left[x^{(1)},x^{(2)},\cdots ,x^{(m)}\right]\\ Z& =\left[z^{(1)},z^{(2)},\cdots ,z^{(m)}\right]\\ & =[w^T{x}^{(1)}+b,w^T{x}^{(2)}+b,\cdots ,w^T{x}^{(m)}+b]\\ A& =\left[a^{(1)},a^{(2)},\cdots ,a^{(m)}\right]\\ & =\left[\sigma \left(a^{(1)}\right),\sigma \left(a^{(2)}\right),\cdots ,\sigma \left(a^{(m)}\right)\right]\\ Y& =\left[y^{(1)},y^{(2)},\cdots ,y^{(m)}\right]\end{array}\text{\hspace{1em}(3-2)}$$
$(3-2)$中从上到下的顺序可以代表前向传播过程。

3.2.反向传播

先对求导公式进行一些化简：
$$\begin{array}{rl}\mathrm{d}a& =\frac{\mathrm{d}L(a,y)}{\mathrm{d}a}\\ & =-\frac{y}{a}+\frac{1-y}{1-a}\end{array}\text{\hspace{1em}(3-3)}$$

$$\begin{array}{rl}\mathrm{d}z& =\frac{\mathrm{d}L(a,y)}{\mathrm{d}z}\\ & =\frac{\mathrm{d}L(a,y)}{\mathrm{d}a}\cdot \frac{\mathrm{d}a}{\mathrm{d}z}\\ & =\left(-\frac{y}{a}+\frac{1-y}{1-a}\right)\cdot a(1-a)\\ & =a-y\end{array}\text{\hspace{1em}(3-4)}$$
有了$(3-4)$，我们就能得到$\mathrm{d}Z=A-Y$。因此反向传播过程如下：
$$\begin{array}{rl}\mathrm{d}Z& =A-Y\\ \mathrm{d}w& =\frac{1}{m}\cdot X\cdot \mathrm{d}{Z}^T\\ & =\frac{1}{m}X{\left(A-Y\right)}^T\\ \mathrm{d}b& =\frac{1}{m}\cdot \sum _{i=1}^m\left(\mathrm{d}{Z}^{(i)}\right)\end{array}\text{\hspace{1em}(3-5)}$$
注意，$(3-5)$的流程可以理解为先对每一个样本求损失函数关于$z$的梯度，并对每个样本求出$\mathrm{d}w$，在对所有样本的$\mathrm{d}w$球平均，因此有$1/m$。

图3.2 logistic回归梯度下降

也可以对$m$个样本的代价函数一次性直接求偏导，这需要一定的向量微分和复合函数微分的知识。这样的话，在$\mathrm{d}Z$中就会有一个$1/m$，那么在求$\mathrm{d}w$时就不用另外再加一个$1/m$了，并且形状可能互为转置，最终的结果是一样的。具体过程这里省略，有兴趣的读者可以自行推导。

4.单层神经网络示例代码

网络结构见图3.1
请点击下面的超链接跳转至github页面：
用logistic回归实现一层神经网络用来识别猫的图片
其中Logistic_Regression_with_a_Neural_Network_mindset.ipynb文件包含详细的注释和图示，但需要在jupyternotebook中运行；Logistic_Regression_with_a_Neural_Network_mindset.py文件可直接用“python”命令运行，两者的功能是一样的。

5.两层神经网络

5.1.前向传播

$$\begin{array}{rl}X& =\left[x^{(1)},x^{(2)},\cdots ,x^{(m)}\right]\\ W^{[1]}& ={\left[w_1^{[1]},w_2^{[1]},\cdots ,w_{n_1}^{[1]}\right]}^T\\ b^{[1]}& =\left[b_1^{[1]},b_2^{[1]},\cdots ,b_{n_1}^{[1]}\right]\\ Z^{[1]}& =W^{[1]}X+b^{[1]}\\ A^{[1]}& =g^{[1]}\left(Z^{[1]}\right)\\ W^{[2]}& ={\left[w_1^{[2]},w_2^{[2]},\cdots ,w_{n_2}^{[2]}\right]}^T\\ b^{[2]}& =\left[b_1^{[2]},b_2^{[2]},\cdots ,b_{n_2}^{[2]}\right]\\ Z^{[2]}& =W^{[2]}{A}^{[1]}+b^{[2]}\\ A^{[2]}& =g^{[2]}\left(Z^{[2]}\right)\\ Y& =\left[y^{(1)},y^{(2)},\cdots ,y^{(m)}\right]\end{array}\text{\hspace{1em}(5-1)}$$
$(5-1)$中从上到下的顺序可以代表前向传播过程。

5.2.反向传播

$$\begin{array}{rl}\mathrm{d}{Z}^{[2]}& =A^{[2]}-Y\\ \mathrm{d}{W}^{[2]}& =\frac{1}{m}\mathrm{d}{Z}^{[2]}{A}^{[1]T}\\ \mathrm{d}{b}^{[2]}& =\frac{1}{m}np.sum\left(\mathrm{d}{Z}^{[2]},axis=1,keepdims=True\right)\\ \mathrm{d}{A}^{[1]}& ={W^{[2]}}^T\mathrm{d}{Z}^{[2]}\\ \mathrm{d}{Z}^{[1]}& =\mathrm{d}{A}^{[1]}\ast {g^{[1]}}^{\prime }\left(Z^{[1]}\right)\\ \mathrm{d}{W}^{[1]}& =\frac{1}{m}\mathrm{d}{Z}^{[1]}{A}^{[0]T}\\ \mathrm{d}{b}^{[1]}& =\frac{1}{m}np.sum\left(\mathrm{d}{Z}^{[1]},axis=1,keepdims=True\right)\end{array}\text{\hspace{1em}(5-2)}$$
$(5-2)$中从上到下的顺序可以代表前向传播过程。

5.3.关于参数的初始化

在单层神经网络（logistic回归）中，可以将参数初始化wie全零值；但是在多层神经网络中，$W$不能初始化为0，否则每一层的各个节点对应的$W$会训练成一样的值；$b$可以初始化为0 $W$不能初始化为特别大，浅层网络一般是0.01量级；因为太大了的话，激活函数的自变量要么正向很大，要么负向很大，导致斜率趋近于0 ，收敛速度很慢。尤其是你使用$sigmoid$或$tanh$激活函数。如果不使用这些激活函数，但是你是二分类问题（输出层是sigmoid函数），也会出现这个问题.

5.4.2层神经网络示例代码

对如下二维平面上的点进行分类：

图5.1 二维平面上的非线性二分类数据集例子

网络结构如下：

图5.2 2层神经网络结构例子

点击下面的超链接查看完整代码：
2层神经网络的示例代码
其中Palnar_data_clf_with_one_hidden_layer.ipynb文件包含详细的注释和图示，但需要在jupyternotebook中运行；Palnar_data_clf_with_one_hidden_layer.py文件可直接用“python”命令运行，两者的功能是一样的。

6.深层神经网络

6.1.每层的参数及变量的尺寸

$$\begin{array}{rl}{z}^{[l]}& :\left(n^{[l]},1\right)\\ a^{[l]}& :\left(n^{[l]},1\right)\\ W^{[l]}& :\left(n^{[l]},n^{[l-1]}\right)\\ b^{[l]}& :\left(n^{[l]},1\right)\\ d{W}^{[l]}& :\left(n^{[l]},n^{[l-1]}\right)\\ d{b}^{[l]}& :\left(n^{[l]},1\right)\end{array}\text{\hspace{1em}(6-1)}$$

6.2.前向传播递推公式

$$\begin{array}{rl}X& =\left[x^{(1)},x^{(2)},\cdots ,x^{(m)}\right]\\ W^{[l]}& ={\left[w_1^{[l]},w_2^{[l]},\cdots ,w_{n_l}^{[l]}\right]}^T\\ b^{[l]}& =\left[b_1^{[l]},b_2^{[l]},\cdots ,b_{n_l}^{[l]}\right]\\ Z^{[l]}& =W^{[l]}{A}^{[l-1]}+b^{[l]}\\ A^{[l]}& =g^{[l]}\left(Z^{[l]}\right)\\ W^{[l+1]}& ={\left[w_1^{[l+1]},w_2^{[l+1]},\cdots ,w_{n_l+1}^{[l+1]}\right]}^T\\ b^{[l+1]}& =\left[b_1^{[l+1]},b_2^{[l+1]},\cdots ,b_{n_2}^{[l+1]}\right]\\ Z^{[l+1]}& =W^{[l+1]}{A}^{[l]}+b^{[l+1]}\\ A^{[l+1]}& =g^{[l+1]}\left(Z^{[l+1]}\right)\\ Y& =\left[y^{(1)},y^{(2)},\cdots ,y^{(m)}\right]\end{array}\text{\hspace{1em}(6-2)}$$

6.3.反向传播递推公式

$$\begin{array}{rl}\mathrm{d}{Z}^{[l]}& =\mathrm{d}{A}^{[l]}\ast {g^{[l]}}^{\prime }\left(Z^{[l]}\right)\\ \mathrm{d}{W}^{[l]}& =\frac{1}{m}\mathrm{d}{Z}^{[l]}{A}^{[l-1]T}\\ \mathrm{d}{b}^{[l]}& =\frac{1}{m}np.sum\left(\mathrm{d}{Z}^{[l]},axis=1,keepdims=True\right)\\ \mathrm{d}{A}^{[l-1]}& ={W^{[l]}}^T\mathrm{d}{Z}^{[l]}\end{array}\text{\hspace{1em}(6-3)}$$

6.4.多层神经网络的示例代码

点击如下超链接。
对比了2层神经网络和5层神经网络在对猫分类时的性能
Deep Neural Network - Application.py
Deep Neural Network - Application.ipynb