深度网络现代实践 - 前馈网络入门之学习XOR实例篇

序言

在神经网络和机器学习的领域中，前馈网络（Feedforward Neural Network）是一种基础的神经网络架构，它通过信号向前传递（即从输入层到输出层）的方式来学习和解决问题。这里，我们将通过一个简单的例子——学习$\text{XOR}$（异或）函数——来阐述前馈网络的基本工作原理和应用。

$\text{XOR}$函数是一个二元函数，当两个输入不同时返回1，相同时返回0。这个函数对于传统的线性模型来说是一个挑战，因为它不是一个线性可分的问题。然而，前馈网络凭借其非线性的激活函数和多层结构，能够学习并模拟这种非线性关系。

学习XOR实例

• 为了使用前馈网络的想法更加具体，我们首先从前馈网络充分发挥作用的一个简单例子说起：学习$\text{XOR}$函数。

• $\text{XOR}$函数

  • $\text{XOR}$函数（”异或“逻辑）是两个二进制$x_1$和$x_2$的运算。当这些二进制值中恰好有一个为1时，$\text{XOR}$函数返回值为$1$。其余情况下返回值为$0$。
  • $\text{XOR}$函数提供了我们想要学习的目标函数$y=f^{\ast }(\mathbf{x})$。
  • 我们的模型给出了一个函数$y=f(\mathbf{x};\mathbf{\theta })$并且我们的学习算法会不断调整参数$\mathbf{\theta }$来使得$f$尽可能接近$f^{\ast }$。

• 在这个简单的例子中，我们不会关系统计泛化。我们希望网络在这四个点$\mathbb{X}=\{[0,0{]}^{\top },[0,1{]}^{\top },[1,0{]}^{\top },[1,1{]}^{\top }\}$上表现正确。我们会用全部这四个点来训练我们的网络，唯一的挑战是拟合训练集。

  • 我们可以把这个问题当作是回归问题，并使用均方误差损失函数。我们选择这个损失函数是为了尽可能简化本例中用到的数学。

  • 在应用领域，对于二进制数据建模时，$\text{MSE}$通常并不是一个合适的损失函数。

  • 为了对在整个训练集上的表现进行评估，$\text{MSE}$损失函数为：
    $J(\mathbf{\theta })=\frac{1}{4}\sum _{\mathbf{x}\in \mathbb{X}}(f^{\ast }(\mathbf{x})-f(\mathbf{x};\mathbf{\theta }){)}^2$

  • 我们现在必须要选择我们模型$f(\mathbf{x};\mathbf{\theta })$的形式。假设选择一个线性模型，$\mathbf{\theta }$包含$\mathbf{w}$和$b$，那么我们的模型被定义成：$f(\mathbf{x};\mathbf{w},b)={\mathbf{x}}^{\top }\mathbf{w}+b$

  • 我们可以用正规方程对$\mathbf{w}$和$b$最小化损失函数$J(\mathbf{\theta })$，来得到一个封闭形式的解。

  • 解正规方程以后，我们得到$\mathbf{w}=0$和$b=\frac{1}{2}$。线性模型仅仅是在任意一点都输出$0.5$。为什么会发生这种事情？图例1：演示了线性模型为什么用来表示$\text{XOR}$函数。解决这个问题的其中一种方法是使用一个模型来学习一个不同的特征空间，在这个空间上线性模型能够表示这个解。

    • 图例1：通过一个表示来解决$\text{XOR}$问题。
      

    • 说明：

      • 图上的粗体数字标明了学得的函数必须在每个点输出的值。
      • 左图：直接应用于原始输入的线性模型不能实现$\text{XOR}$函数。
        • 当$x_1=0$时，模型的输出必须随着$x_2$的增大而增大。
        • 当$x_1=1$时，模型的输出必须随着$x_2$的增大而减小。
        • 线性模型必须对$x_2$使用固定的系数$w_2$。因此，线性模型不能使用$x_1$的值来改变$x_2$的系数，从而不能解决这个问题。
      • 右图：在由神经网络提取的特征表示的变换空间中，线性模型现在可以解决这个问题了。
        • 在我们的示例解决方案中，输出必须为1的两个点折叠到了特征空间中的单个点。
        • 换句话说，非线性特征将$\mathbf{x}=[1,0{]}^{\top }$和$\mathbf{x}=[0,1{]}^{\top }$都映射到了特征空间中的单个点$\mathbf{h}=[1,0{]}^{\top }$。
        • 线性模型现在可以将函数描述为$h_1$增大和$h_2$减小。
      • 在该示例中，学习特征空间的动机仅仅是使得模型的能力更大，使得它可以拟合训练集。
      • 在更现实的应用中，学习的表示也可以帮助模型泛化。

• 具体来说，我们这里引入一个非常简单的前馈神经网络，它有一层隐藏层并且隐藏层中包含两个单元。参见图例2中对该模型的解释。

  • 图例2：使用两种不同样式绘制的前馈网络的示例
    

  • 说明：

    • 具体来说，这是我们用来解决$\text{XOR}$问题的前馈网络。
    • 它有单个隐藏层，包含两个单元。
    • 左图在这种样式中：
      • 我们将每个单元绘制为图中的一个节点。
      • 这种风格是清楚而明确的，但对于比这个例子更大的网络，它可能会消耗太多的空间。
    • 右图在这种样式中：
      • 我们将表示每一层激活的整个向量绘制为图中的一个节点。
      • 这种样式更加紧凑 。有时我们对图中的边使用参数名进行解释，这些参数是用来描述两层之间的关系。
      • 这里，我们用矩阵$\mathbf{W}$描述从$\mathbf{x}$到$\mathbf{h}$的映射，用向量$\mathbf{w}$描述从$\mathbf{h}$到$y$的映射。
      • 当标记这种图时，我们通常省略与每个层相关联的截距系数。

• 这个前馈网络有一个通过函数$f^{(i)}(\mathbf{x};\mathbf{W},\mathbf{c})$计算得到的隐藏单元的向量$\mathbf{h}$。

  • 这些隐藏单元的值随后被用作第二层的输入。
  • 第二层就是这个网络的输出层。输出层仍然是只是一个线性回归模型，只不过现在它作用于$\mathbf{h}$而不是$\mathbf{x}$。
  • 网络现在包含链接在一起的两个函数：$\mathbf{h}=f^{(i)}(\mathbf{x};\mathbf{W},\mathbf{c})$和$y=f^{(2)}(\mathbf{h};\mathbf{w},b)$，完整的模型是$f(\mathbf{x};\mathbf{W},\mathbf{c},\mathbf{w},b)=f^{(2)}(f^{(1)}(\mathbf{x}))$
  • $f^{(i)}$应该是哪种函数？
    • 线性模型到目前为止表现不错，让$f^{(i)}$也是线性的似乎很有诱惑力。不幸的是，如果$f^{(i)}$是线性的，那么前馈网络作为一个整体对于输入仍然是线性的。
    • 暂时忽略截距项，假设$f^{(1)}(\mathbf{x})={\mathbf{W}}^{\top }\mathbf{x}$并且$f^{(2)}(\mathbf{h})={\mathbf{h}}^{\top }\mathbf{w}$，那么$f(\mathbf{x})={\mathbf{w}}^{\top }{\mathbf{W}}^{\top }\mathbf{x}$。
    • 我们可以将这个函数重新表示成$f(\mathbf{x})={\mathbf{x}}^{\top }{\mathbf{w}}^{\prime }$，其中${\mathbf{w}}^{\prime }=\mathbf{Ww}$。
    • 显然，我们必须用非线性函数来描述这个特征。大多数神经网络通过仿射变换之后紧跟着一个被称为激活函数的固定非线性函数来实现这个目标，其中仿射变换由学得的参数控制。
    • 我们这里使用这种策略，定义$\mathbf{h}=g({\mathbf{W}}^{\top }\mathbf{x}+\mathbf{c})$，其中$\mathbf{W}$是线性变化的权重矩阵，$\mathbf{c}$是偏置。
    • 先前，为了描述线性回归模型，我们使用权重向量和一个标量的偏置参数来描述从输入向量到输出标量的仿射变化。
    • 现在，因为我们描述的是向量$\mathbf{x}$到向量$\mathbf{h}$的仿射变换，所以我们需要一整个向量的偏置参数。
  • 整流线性单元（rectified linear unit, ReLU）
    • 激活函数$g$通常选择对每个元素分别起作用的函数，有$h_i=g({\mathbf{x}}^{\top }{\mathbf{W}}_{:,i}+c_i)$。
    • 在现代神经网络中，默认的推荐是使用由激活函数 g ( z ) = max ⁡ { 0 , z } g(z)=\max\{0,z\} g(z)=max{0,z}定义的整流性单元（rectified linear unit, ReLU）或者成为$\text{ReLU}$。 如下图例3所示。

      • 图例3：ReLU激活函数
        

      • 说明：

        • 该激活函数是被推荐用于大多数前馈神经网络的默认激活函数。
        • 将此函数用于线性变换的输出将产生非线性变化。然而，函数仍然非常接近线性，在这种意义上它是具有两个线性部分的分段线性函数。
        • 由于整流性单元几乎是线性的，因此它们保留了许多使得线性模型易于使用基于梯度的方法进行优化的属性。
        • 它们还保留了许多使得线性模型能够泛化良好的属性。
        • 计算机科学的一个公共原则是，我们可以从最小的组件构建复杂的系统。就像图灵机的内存只需要能够存储$0$或$1$的状态，我们可以从整流性函数构建一个通用函数逼近器。

• 我们现在可以指明我们的整个网络是： f ( x ; W , c , w , b ) = W ⊤ max ⁡ { 0 , W ⊤ x + c } + b f(\boldsymbol{x};\boldsymbol{W},\boldsymbol{c},\boldsymbol{w},b)=\boldsymbol{W}^\top \max\{0,\boldsymbol{W}^\top\boldsymbol{x}+\boldsymbol{c}\}+b f(x;W,c,w,b)=W⊤max{0,W⊤x+c}+b。

  • 现在可以给出$\text{XOR}$问题的一个解。令$\mathbf{W}=\left[\begin{array}{cc}1& 1\\ 1& 1\end{array}\right]$，$\mathbf{c}=\left[\begin{array}{c}0\\ -1\end{array}\right],\mathbf{w}=\left[\begin{array}{c}1\\ -2\end{array}\right]$，$b=0$。
  • 我们现在可以了解这个模型如何处理一批输入。令$\mathbf{X}$表示设计矩阵，它包含二进制输入空间中全部的四个点，每个样例占一行，那么矩阵表示为：
    $$\mathbf{X}=\left[\begin{array}{cc}0& 0\\ 0& 1\\ 1& 0\\ 1& 1\end{array}\right]$$
  • 神经网络的第一步是将输入矩阵乘以第一层的权重矩阵，得到$\mathbf{XW}=\left[\begin{array}{cc}0& 0\\ 1& 1\\ 1& 1\\ 2& 2\end{array}\right]$
  • 然后，我们加上偏置向量$\mathbf{c}$，得到$\mathbf{XW}+\mathbf{c}=\left[\begin{array}{cc}0& -1\\ 1& 0\\ 1& 0\\ 2& 1\end{array}\right]$
  • 在这个空间中，所有的样例都处在一条斜率为$1$的直线上。当我们沿着这条直线移动时，输出需要从$0$升到$1$，然后再降回$0$。线性模型不能实现这种函数。
  • 为了用$\mathbf{h}$对每个样例求值，我们使用整流线性变换： h = max ⁡ { 0 , [ 0 − 1 1 0 1 0 2 1 ] } = [ 0 0 1 0 1 0 2 1 ] \boldsymbol{h}=\max\{0,\begin{bmatrix}0&-1\\1&0\\1&0\\2&1\end{bmatrix}\}=\begin{bmatrix}0&0\\1&0\\1&0\\2&1\end{bmatrix} h=max{0, ​0112​−1001​ ​}= ​0112​0001​ ​
  • 这个变换改变了样例间的关系。它们不再处于同一条直线上了。如图例3所示，它们现在处在一个可以用线性模型解决的空间上。
  • 我们最后乘以一个权重向量$\mathbf{w}$，得到$\mathbf{h}\mathbf{w}=\left[\begin{array}{cc}0& 0\\ 1& 0\\ 1& 0\\ 2& 1\end{array}\right]\left[\begin{array}{c}1\\ -2\end{array}\right]=\left[\begin{array}{c}0\\ 1\\ 1\\ 0\end{array}\right]$
  • 神经网络对这一批次中的每个样例都给出了正确的结果。
  • 在这个例子中，我们简单地指明答案，然后说明它得到的误差为零。

• 结论

  • 在实际情况中，可能会有数十亿的模型参数以及数十亿的训练样本，所以不能像我们这里做的那样进行简单地猜解。
  • 与之相对的，基于梯度的优化算法可以找到一些参数使得产生的误差非常小。
  • 我们这里给出的$\text{XOR}$问题的解处在损失函数的全局最小点，所以梯度下降算法可以收敛到这一点。
  • 梯度下降算法还可以找到$\text{XOR}$问题一些其他的等价解。梯度下降算法的收敛点取决于参数的初始值。
  • 在实践中，梯度下降通常不会找到像我们这里给出的那种干净的、容易理解的、整数值的解。

总结

通过学习$\text{XOR}$函数，我们深刻理解了前馈网络在处理非线性问题上的强大能力。在这个例子中，我们构建了一个简单的前馈网络，通过调整网络中的权重和偏置项，网络逐渐学会了$\text{XOR}$函数的输入输出映射关系。这不仅展示了前馈网络的学习能力，也为我们理解更复杂的神经网络模型提供了基础。

此外，这个例子还强调了非线性激活函数在前馈网络中的重要性。如果没有非线性激活函数，网络将只能学习线性关系，而无法处理$\text{XOR}$这样的非线性问题。因此，在实际应用中，我们需要根据问题的性质选择合适的激活函数，以确保网络能够学习到复杂的数据模式和关系。

往期内容回顾

深度学习之数学概念符号汇总
应用数学与机器学习基础 - 线性代数篇