[深度学习-1.3] 建立一个单隐层的神经网络

前面总结了利用单神经元和Logistic回归解决简单的二分类问题，接下来就是建立一个简单的BP神经网络模型了，也就是简单的输入层-隐藏层-输出层网络模型，相比起之前的模型仅仅多了一个隐藏层。
  先给出直观的网络示意图(注：图来源于吴恩达老师深度学习课程JupterNotebook)：

模型解释

  输入层 $\vec{x}=[x_1,x_2,...,x_n{]}^T$ 对应样本的 $n$ 个特征。输入层到隐层的权重矩阵用 ${\mathbf{W}}^{[1]}$ 表示，隐层的输入用 ${\vec{z}}^{[1]}$ 表示，隐层的输出用 ${\vec{a}}^{[1]}$ 表示。隐层到输出层的权重矩阵用 ${\mathbf{W}}^{[2]}$ 表示，输出层的输入用 $z^{[2]}$ 表示，网络的输出用 $a^{[2]}$ 表示。
  从上图可以看出，对于一个二分类网络来说，输出层只需要一个神经元，用来输出一个位于 $[0,1]$ 区间的概率值。这样对于一个输入样本 $\vec{x}$ ，一个网络的正向传播机制可以用数学公式描述为
$${\vec{z}}^{[1]}={\mathbf{W}}^{[1]}\vec{x}+{\vec{b}}^{[1]}\text{\hspace{1em}(1)}$$$${\vec{a}}^{[1]}=tanh({\vec{z}}^{[1]})\text{\hspace{1em}(2)}$$$$z^{[2]}={\mathbf{W}}^{[2]}{\vec{a}}^{[1]}+b^{[2]}\text{\hspace{1em}(3)}$$$$\hat{y}=a^{[2]}=sigmoid(z^{[2]})\text{\hspace{1em}(4)}$$其中 ${\mathbf{W}}^{[1]}\subseteq {\mathbf{R}}^{n_h\times n_x}$ ， ${\mathbf{W}}^{[2]}\subseteq {\mathbf{R}}^{n_y\times n_h}$，$n_x、n_h、n_y$ 分别为输入层、隐层和输出层节点数量，${\vec{b}}^{[1]}$ 和 $b^{[2]}$ 分别表示隐层和输出层(更确切地应该说输出神经元)的阈值，从式子里可以看出隐层用了 $tanh$ 作为激活函数，输出层毫无疑问还是 sigmoid 函数。
这样输入样本 $\vec{x}$ 的预测值即为
$$y_{prediction}=\{\begin{array}{ll}1,& a^{[2]}>0.5\\ 0,& \text{otherwise }\end{array}\text{\hspace{1em}(5)}$$

 

多个输入样本的向量化实现

上面用单个模型解释了一个单隐层神经网络的正向传播机制，实际中对于一个包含很多训练样本的数据集，如果通过遍历的方式一个一个样本输入神经网络进行运算是很耗时的，这时候可以尝试使用Python强大的 numpy 库进行向量化编程，numpy库中定义了各种矩阵和向量运算的函数，可以有效地提高效率。（实质上式 $(1)$ 和 $(3)$ 就是向量化的实现。）

• 输入样本向量化

  对于一个包含 $m$ 样本的数据集，我们可以将其表示为
$$\mathbf{X}=[{\vec{x}}^{(1)},{\vec{x}}^{(2)},...,{\vec{x}}^{(m)}]\text{\hspace{1em}(6)}$$其中 ${\vec{x}}^{(i)}=[x_1^{(i)},x_2^{(i)},...,x_n^{(i)}{]}^T$ 为第 $i$ 个样本的特征向量，将式 $(6)$ 展开为矩阵形式即为
$$\mathbf{X}=\left[\begin{array}{cccc}{x}_1^{(1)}& x_1^{(2)}& \cdots & x_1^{(m)}\\ x_2^{(1)}& x_2^{(2)}& \cdots & x_2^{(m)}\\ ⋮& ⋮& \ddots & ⋮\\ x_n^{(1)}& x_n^{(2)}& \cdots & x_n^{(m)}\end{array}\right]$$显然 $\mathbf{X}\subseteq {\mathbf{R}}^{n\times m}$，$n$为样本特征数量，同样也是网络输入层节点数量，因此 $n=n_x$。

• 正向传播过程

  这样就可以通过向量化编程同时将所有样本输入到网络，此时式$(1)$-$(4)$就可以向量化表示为以下形式：
$${\mathbf{Z}}^{[1]}={\mathbf{W}}^{[1]}\mathbf{X}+{\mathbf{b}}^{[1]}\text{\hspace{1em}(7)}$$$${\mathbf{A}}^{[1]}=tanh({\mathbf{Z}}^{[1]})\text{\hspace{1em}(8)}$$$${\mathbf{Z}}^{[2]}={\mathbf{W}}^{[2]}{\mathbf{A}}^{[1]}+{\mathbf{b}}^{[2]}\text{\hspace{1em}(9)}$$$$\hat{\mathbf{Y}}={\mathbf{A}}^{[2]}=sigmoid({\mathbf{Z}}^{[2]})\text{\hspace{1em}(10)}$$
对应输出了 $m$个样本的预测值 $\hat{\mathbf{Y}}=[{\hat{y}}^{(1)},{\hat{y}}^{(2)},...,{\hat{y}}^{(m)}]$。

• 损失函数

  损失函数仍旧使用交叉熵函数，向量化表示为：
$$J=-\frac{1}{m}(\mathbf{Y}\log ({\hat{\mathbf{Y}}}^T)+(1-\mathbf{Y})\log (1-\hat{\mathbf{Y}}{)}^T)\text{\hspace{1em}(11)}$$

• 反向传播过程

  反向传播的过程主要就是逐层对误差函数求偏导，过程和单神经元Logistic分类器类似，首先对输出层求导，接下来对隐层求导。每一步的求导结果如下：
$$d{\mathbf{Z}}^{[2]}={\mathbf{A}}^{[2]}-\mathbf{Y}\text{\hspace{1em}(12)}$$ $$d{\mathbf{W}}^{[2]}=\frac{1}{m}d{\mathbf{Z}}^{[2]}{\mathbf{A}}^{[1]T}\text{\hspace{1em}(13)}$$

$$d{\mathbf{b}}^{[2]}=\frac{1}{m}\sum d{\mathbf{Z}}^{[2]}\text{\hspace{1em}(14)}$$

$$d{\mathbf{Z}}^{[1]}={\mathbf{W}}^{[2]T}d{\mathbf{Z}}^{[2]}\ast g^{\prime }({\mathbf{Z}}^{[1]})\text{\hspace{1em}(15)}$$ $$d{\mathbf{W}}^{[1]}=\frac{1}{m}d{\mathbf{Z}}^{[1]}{\mathbf{X}}^T\text{\hspace{1em}(16)}$$

$$d{\mathbf{b}}^{[1]}=\frac{1}{m}\sum d{\mathbf{Z}}^{[1]}\text{\hspace{1em}(17)}$$
式 $(15)$ 中 $g^{\prime }(\cdot )$ 表示隐层激活函数(即 $tanh$ )的导函数，在激活函数总结中已经提到 $tanh$ 函数的导函数性质：
$$g^{\prime }(z)=1-g^2(z)\text{\hspace{1em}(18)}$$这样就可以很容易得到
$$d{\mathbf{Z}}^{[1]}={\mathbf{W}}^{[2]T}d{\mathbf{Z}}^{[2]}\ast g^{\prime }({\mathbf{Z}}^{[1]})={\mathbf{W}}^{[2]T}d{\mathbf{Z}}^{[2]}\ast (1-({\mathbf{A}}^{[1]}{)}^2)\text{\hspace{1em}(19)}$$

• 参数更新

  到这里基本已经完成了大部分的计算任务，最后就是利用计算得到的梯度信息更新网络的参数，即两个权重矩阵和两个阈值向量：

$$d{\mathbf{W}}^{[1]}={\mathbf{W}}^{[1]}-\alpha d{\mathbf{W}}^{[1]}\text{\hspace{1em}(20)}$$

$$d{\mathbf{b}}^{[1]}={\mathbf{b}}^{[1]}-\alpha d{\mathbf{b}}^{[1]}\text{\hspace{1em}(21)}$$

$$d{\mathbf{W}}^{[2]}={\mathbf{W}}^{[2]}-\alpha d{\mathbf{W}}^{[2]}\text{\hspace{1em}(22)}$$

$$d{\mathbf{b}}^{[2]}={\mathbf{b}}^{[2]}-\alpha d{\mathbf{b}}^{[2]}\text{\hspace{1em}(23)}$$
  这样在迭代次数内不断重复上面的更新过程从而不断降低损失函数的值，最终就可以得到一个较好的二分类神经网络模型。

总结

包含单隐层的神经网络只是一个很简单很基础的模型，实现过程中发现当隐层节点数为5的时候，最后的在测试集上的准确率甚至不如单神经元Logistic分类器；增加网络节点数会提高性能，但是计算量也明显上升。

Python实现的代码可以在我的GitHub上下载。