神经网络基础

1. 引言

​ 人工神经网络（英语：Artificial Neural Network，ANN），简称神经网络（Neural Network，NN）或类神经网络，在机器学习和认知科学领域，是一种模仿生物神经网络的结构和功能的数学模型或计算模型，用于对函数进行估计或近似。

​ $1943$年，心理学家$WarrenMcCulloch$和年轻的数学家$WalterPitts$在合作的$《Alogicalcalculusoftheideasimmanentinnervousactivity》$论文中提出并给出了人工神经网络的概念及人工神经元的数学模型，被称为$M-P$模型(以两人的名字命令)，开创了人工神经网络研究的时代。

​ $M-P$模型很简单，如下图所示

神经元接收$m$个信号输入，并通过加权计算，得到神经元的总输入值，加上偏置之后，通过激活函数得到最终的结果。理想的激活函数是阶跃函数，它能将输入值映射为$0$和$1$，对应神经网络中神经元的“兴奋”与“抑制”状态。该模型对应的数学表达式为

$$y=\varphi (\sum _{i=1}^m{w}_i{x}_i+b)=\varphi (w^{T}x+b)$$

$1957$年，$FrankRosenblatt$从纯数学角度重新研究$M-P$模型，指出对一些输入输出对$(X,y)$可以通过学习的方式，求得$w$和$b$，即为"感知机"模型，该模型在机器学习算法篇第一篇已经进行了详细讲述，这里不再展开介绍，感兴趣的话，可以查看《感知机模型详解》 。

$1969$年，$Minsky$等人出版了$《Perceptron》$一书，用数学详细证明了感知机的不足，甚至不能处理简单的异或问题。

要解决非线性可分问题，需要增加多层神经元，使用下图简单的两层感知机就可以解决异或问题

上述模型就是一个很简单的多层神经网络模型，我们进行一般化研究，得到下面的层级结构，先从简单的开始，一步步认识并了解神经网络。

2. 多层神经网络

• 这是一个十分简单的多层神经网络模型，每层神经元都与下一层神经元全互连，神经元之间不存在同层连接，也不存在跨层连接，这样的神经网络结构通常称为“多层前馈神经网络”，其包含输入特征$x_1、x_2$，叫做神经网络的输入层(图中最左边绿色圆圈)，该层的神经元叫做输入神经元。最右侧一层，只有一个节点，被称作输出层（图中最右边红色圆圈) 。输入层和输出层之间的中间层，被称为隐藏层（图中间灰色圆圈）。接下来我们将该图为例，讲解神经网络的基础知识。

• 关于神经网络层数的定义

  从左到右，由第0层开始定义，原因是最左侧是输出层，其只负责从外界接收输入，不进行任何函数处理，因此我们不将输入层计入神经网络的层数或者将输入层记为第0层。由此可知，上图表示的是一个两层神经网络

• 神经网络的计算

  结合$M-P$模型，我们知道单个神经元的输出为 $\varphi (\sum _{i=1}^m{w}_i{x}_i+b)$，为了方便描述，我们记做$z=\sum _{i=1}^m{w}_i{x}_i+b$ ，输出$a=\varphi (z)$.

  按照这样的规则，我们尝试计算上面的两层神经网络的第一层，由上至下有

  $$z_1^{[1]}=x_1\ast w_{11}^{[1]}+x_2\ast w_{21}^{[1]}+b_1^{[1]}，a_1^{[1]}={\varphi }_1(z_1^{[1]})$$

  其中$z_1^{[1]}$ 表示该神经网络第$[1]$层第$1$个神经元的非激活值。

  $a_1^{[1]}$表示该神经网络第$[1]$层第$1$个神经元的最终输出值，也是下一层神经元的输入，叫做激活值

  $w_{21}^{[1]}$ 表示该神经网络第$[1]$层第一个$1$个神经元与输入(层)的第$2$个特征$x_2$的连接权重

  ${\varphi }_1$表示第$1$层神经元的激活函数，是一个非线性函数

  则此时有

  $$\begin{array}{rl}& z_2^{[1]}=x_1\ast w_{12}^{[1]}+x_2\ast w_{22}^{[1]}+b_2^{[1]}，a_2^{[1]}={\varphi }_1(z_2^{[1]})\\ & z_3^{[1]}=x_1\ast w_{13}^{[1]}+x_2\ast w_{23}^{[1]}+b_3^{[1]}，a_3^{[1]}={\varphi }_1(z_3^{[1]})\\ & z_1^{[2]}=a_1^{[1]}\ast w_{11}^{[2]}+a_2^{[1]}\ast w_{21}^{[2]}+a_3^{[1]}\ast w_{31}^{[2]}+b_1^{[2]}，a_1^{[2]}={\varphi }_2(z_1^{[2]})\\ & y=a_1^{[2]}\end{array}$$

  $y={\varphi }_2({\varphi }_1(x_1\ast w_{11}^{[1]}+x_2\ast w_{21}^{[1]}+b_1^{[1]})\ast w_{11}^{[2]}+{\varphi }_1(x_1\ast w_{12}^{[1]}+x_2\ast w_{22}^{[1]}+b_2^{[1]})\ast w_{21}^{[2]}+{\varphi }_1(x_1\ast w_{13}^{[1]}+x_2\ast w_{23}^{[1]}+b_3^{[1]})\ast w_{31}^{[2]}+b_1^{[2]})$

• 神经网络计算的向量化

  将神经网络的每一层的神经元参数进行向量化处理，能够大大提高计算速度，也利于编程实现，如上图中第一层的权重参数可表示成一个$(3\times 2)$的矩阵

  $${\left[\begin{array}{ccc}{w}_{11}^{[1]}& w_{12}^{[1]}& w_{13}^{[1]}\\ w_{21}^{[1]}& w_{22}^{[1]}& w_{23}^{[1]}\end{array}\right]}^T$$

  记做$W^{[1]}$。第一层神经元的偏置可以用一个$(3\times 1)$的矩阵表示${\left[\begin{array}{ccc}{b}_1^{[1]}& b_2^{[1]}& b_3^{[1]}\end{array}\right]}^T$ ，记做 $b^{[1]}$。同理，非激活值$z^{[1]}={\left[\begin{array}{ccc}{z}_1^{[1]}& z_2^{[1]}& z_3^{[1]}\end{array}\right]}^T$ ，激活值为$a^{[1]}={\left[\begin{array}{ccc}{a}_1^{[1]}& a_2^{[1]}& a_3^{[1]}\end{array}\right]}^T$ ，该层的输入可表示为${\left[\begin{array}{cc}{x}_1& x_2\end{array}\right]}^T$ ，为了符号描述统一，我们将输入层记做$a^{[0]}$，即 $a^{[0]}={\left[\begin{array}{cc}{x}_1& x_2\end{array}\right]}^T$

  根据神经网络的计算规则可知，此时有以下公式成立

  $$z^{[1]}=W^{[1]}\cdot a^{[0]}+b^{[1]},a^{[1]}={\varphi }_1(z^{[1]})$$

  $$z^{[2]}=W^{[2]}\cdot a^{[1]}+b^{[2]},a^{[2]}={\varphi }_2(z^{[2]})$$

  $$y=a^{[2]}={\varphi }_2(W^{[2]}\cdot {\varphi }_1(W^{[1]}\cdot a^{[0]}+b^{[1]})+b^{[2]})$$

  如此，传入神经网络的信息，通过层层处理，得到最终的输出，传递过程可表示为

  $x=a^{[0]}\stackrel{W^{[1]}、b^{[1]}}{⟶}{z}^{[1]}\stackrel{{\varphi }_1}{⟶}{a}^{[1]}\stackrel{W^{[2]}、b^{[2]}}{⟶}{z}^{[2]}\stackrel{{\varphi }_2}{⟶}{a}^{[2]}=y$

3. 关于激活函数

• 为什么需要非线性激活函数

  前面我们提到激活函数$\varphi$ 要求是非线性函数， 我们试着去掉神经网络中的激活函数${\varphi }_1$ 和 ${\varphi }_2$ ，或者令${\varphi }_1(z)=z,{\varphi }_2(z)=z$，此时有 神经网络的输出

  $y=W^{[2]}\cdot W^{[1]}\cdot a^{[0]}+W^{[2]}\cdot b^{[1]}+b^{[2]}$

  令$W^{[2]}\cdot W^{[1]}=W^{\prime },W^{[2]}\cdot b^{[1]}+b^{[2]}=b^{\prime }$

  则$y=W^{\prime }\cdot a^{[0]}+b^{\prime }$ ，可以发现，使用一个隐藏层，其输出仍是对输入的线性组合，可以证明，不管中间使用多少个隐藏层，只要不使用激活函数或者使用线性激活函数，其输出都只是对输入做线性组合，最终均可以写成$y=W^{\prime }\cdot a^{[0]}+b^{\prime }$ 的形式，即此时增加神经网络的深度没有任何意义，反而增加计算量，且其效果等同于单层神经网络，只能处理线性问题，可用性将非常受限，因此我们需要非线性的激活函数。

  虽然我们要求隐藏层必须使用非线性激活函数，但是有些情况下，输出层神经元可以使用线性激活函数的，比如在处理回归问题的时候，输出是一些连续的数值时，可以在输出层使用线性激活函数。

下面介绍几种常见的激活函数，其中蓝色线为原函数图像，黄色线条为其导函数的图像

• 阶跃($Step$)函数

  $$\varphi (z)=\{\begin{array}{l}1z\ge 0\\ 0z<0\end{array}\varphi (z)’=\{\begin{array}{l}0z\ne 0\\ 不可导z=0\end{array}$$

  阶跃函数是比较理想的激活函数，它能将输入值映射为$1$和$0$，对应神经网络中神经元的“兴奋”与“抑制”状态 ，但是该函数不连续，不光滑，且在可导的地方导数为$0$导致无法使用梯度下降法进行求解，因此一般我们不使用该激活函数。

• $Sigmoid$

  $$\varphi (z)=\frac{1}{1+e^{-z}}\varphi (z{)}^{\prime }=\varphi (z)(1-\varphi (z))$$

  结合函数图像进行分析可知

  1. 该函数可以把一个实数域的输入"挤压"到$0$和$1$之间，因此也叫做挤压函数
  2. 在$0$附近函数可近似看着线性函数，输入越小越接近$0$，输入越大越接近$1$，可用来表示概率(事实上，可以从概率公式推导出该函数，这里暂不介绍)，十分适合用来做二分类问题，其他场景已很少使用
  3. 该函数连续可导
  4. 利用$\varphi (z{)}^{\prime }=\varphi (z)(1-\varphi (z))$计算导数会十分方便
  5. 输入特别大或者特别小时，导数会变得特别小，最终趋于$0$，会导致梯度下降缓慢，不利于学习
  6. $Sigmoid$函数输出不是$0$均值的，可能会造成模型收敛缓慢，关于这点会在讲解$BP$算法时具体说明
  7. 指数运算相对复杂耗时

• $Tanh$

  $$\varphi (z)=\frac{e^z-e^{-z}}{e^z+e^{-z}}\varphi (z{)}^{\prime }=1-[\varphi (z){]}^2$$

  1. 图像跟$Sigmoid$很相似，事实上$Tanh$函数是$Sigmoid$的向下平移和伸缩后的结果
  2. 该函数连续可导，且求导比较方便
  3. 函数值域为$(-1,1)$，其输出是是$0$均值的，避免了$Sigmoid$输出不是$0$均值可能造成的模型收敛缓慢问题
  4. 输入特别大或者特别小时，导数会变得特别小，最终趋于$0$，会导致梯度下降缓慢，不利于学习
  5. 指数运算相对复杂耗时

• $Relu$

  $$\varphi (z)=\{\begin{array}{l}zz\ge 0\\ 0z<0\end{array}=\max (0,z)\varphi (z{)}^{\prime }=\{\begin{array}{l}1z>0\\ 不可导z=0\\ 0z<0\end{array}$$

  $ReLU(RectifiedLinearUnit)$，修正线性单元，也叫 $Rectifier$ 函数，是目前深度神经网络中经常使用的激活函数。具有以下性质

  1. 采用 $ReLU$ 的神经元只需要进行加、乘和比较的操作，计算上更加高效
  2. 该函数将所有的负值变为$0$，所有正值保持不变，使得$ReLU$ 函数具有生物上的解释性，比如单侧抑制、宽兴奋边界(即兴奋程度 也可以非常高)。在生物神经网络中，同时处于兴奋状态的神经元非常稀疏。人 脑中在同一时刻大概只有$1\%\sim 4\%$的神经元处于活跃状态。$ReLU$ 却具有很好的稀疏性，大约 $50\%$ 的神 经元会处于激活状态
  3. 输入大于$0$时，导数为$1$，不会造成梯度消失问题。输入为负值时，导数为$0$，则不会对该神经元进行学习，从而产生稀疏性。
  4. $ReLU$ 函数的输出也不是$0$均值的，可能会造成模型收敛缓慢
  5. $Relu$神经元在训练时，可能出现”死亡神经元“，即有些神经元将永远不会被激活

• $LeakyRelu$

  $$\varphi (x)=\{\begin{array}{l}zz\ge 0\\ \alpha zz<0\end{array}\varphi (z{)}^{\prime }=\{\begin{array}{l}1z>0\\ 不可导z=0\\ \alpha z<0\end{array}$$

  $LeakyRelu$ 叫做带泄露的$ReLU$，不同于$Relu$的是，输入为负值时，输出为$\alpha z$，其中$\alpha$是一个很小的正值，这会让函数在负值时，也有一个很小的导数$\alpha$，从而避免$DeadReLU$问题

4. 通用近似定理 ($Universalapproximationtheorem$)

令$\varphi (\cdot )$ 是一个非常数、有界、单调递增的连续函数，${\mathcal{I}}_d$是一个$d$维的单位超立方体$[0,1{]}^d$，$C({\mathcal{I}}_d)$ 是定义在${\mathcal{I}}_d$上的连续函数集合。对于任何一个函数$f\in C({\mathcal{I}}_d)$ ，存在一个整数$m$，和一组实数$v_i,b_i\in R$以及实数向量$w_i\in R^d,i=1,\cdots ,m$，以至于我们可以定义函数

$$F(x)=\sum _{i=1}^m{v}_i\varphi (w_i^{T}x+b_i)$$ 作为函数$f$的近似实现，即

$$|F(x)-f(x)|<ϵ,{\forall }_x\in {\mathcal{I}}_d$$ 其中$ϵ>0$ 是一个很小的正数

该定理表明，一个前馈神经网络如果具有线性输出层和至少一层具有任何一种‘‘挤压’’ 性质的激活函数（例如logistic sigmoid激活函数）的隐藏层，只要给予网络足够数量的隐藏单元，它可以以任意的精度来近似任何从一个有限维空间到另一个有限维空间的Borel 可测函数。

科特·霍尼克（$KurtHornik$）在$1991$年证明 ，激活函数的选择不是关键，前馈神经网络的多层神经层及多神经元架构才是使神经网络有成为通用逼近器的关键，但也有研究将此定理扩展至其他类型的神经网络，如卷积神经网络、放射状基底函数网络、或其他特殊神经网络

总之，该定理告诉我们神经网络具有十分强大的表达能力，我们可以认为，具有单个隐藏层的神经网络可以以任意精度近似任意的连续函数，但是该定理并没有指出我们该如何选择神经网络的参数，以及为了近似目标函数，这个神经网络会有多大。

5. 三层神经网络模拟任意决策面

我们使用三层神经网络，在二维平面模拟多种决策面，来帮助我们理解通用近似定理，为了简化说明，这里激活函数均选择阶跃函数，也就是说神经元的输出只有$0$或$1$。

• 如下图左侧的决策面，阴影部分表示$C_1$类，之外的部分表示$C_2$类，我们该如何设计神经网络完成分类呢？

  

  观察可知，该决策面由三条直线组成，因此第一层需要三个神经元，并规定三条直线的$C_1$侧的激活值为$1$，否则为$0$， 基于这种规定，我们知道一个实例点属于$C_1$类时，必须满足第一层三个神经元的输出均为$1$，因此我们可以设计如上图右侧的两层神经网络即可完成该分类任务，根据该神经网络的输出层(第二层)权重$w$和偏置$b$的设定可知，只有当输出层的输入(即第一层的输出)$a_1^{[1]}=a_2^{[1]}=a_3^{[1]}=1$ 时，才能满足$z_1^{[2]}>0$，从而经过阶跃函数激活之后有 $a_1^{[2]}=1$ 即输出$y=1$，正确完成分类。

• 同理，如下图左侧的多边形决策面，我们可以设计下图右侧的两层神经网络完成数据分类

  

• 对于下图左侧的圆形决策面以及右侧的不规则图形的决策面，我们可以利用微分法，沿着决策面的边缘，分割成无数条小线段，从而设计出对应的神经网络，该神经网络仍然可以是两层的，只不过第一层的神经元个数是无限个

  

• 如下图左侧图形所示，我们还会遇到此类的决策面，由两个相离的面组成，此时我们可以设计下图右侧的神经网络，该神经网络有三层，与前面不同的是，输出层的两个输入是或的关系，即实例点落在任意一个三角形决策面内，都认为是$C_1$类的，这跟图像也是吻合的。

  

通过对这几类决策面的神经网络构造，我们应该对通用近似定理有了一定的了解，也感叹神经网络的强大，但是截止到目前，我们都是从偏理论的方向介绍神经网络，接下来，我们将介绍如何求解多层神经网络的各个参数，也就是在神经网络体系中大名鼎鼎的$BP$算法。