神经网络与深度学习第二周总结

本周课上主要讲了多层感知机的多层前馈网络和BP算法。其中先提出了线性不可分问题，之后提出构造多层感知机可解决该问题。

在机器学习和模式识别领域中，线性不可分问题指的是一类无法使用线性分类器或回归器解决的问题。简单来说，当给定的数据集无法被一个线性超平面分开时，就会出现线性不可分问题。

举例来说，假设我们有一个二维数据集，其中包含两类数据点，分别表示为红色圆圈和蓝色正方形。如果这些数据点可以被一个直线分开，则该问题是线性可分的。但是，如果数据点不能被任何直线分开，则该问题是线性不可分的。

在处理线性不可分问题时，常用的方法是使用非线性分类器或回归器，例如支持向量机（SVM）、神经网络等。这些方法可以学习到更复杂的决策边界，从而解决线性不可分问题。此外，还可以使用特征变换等方法将数据映射到更高维空间中，使其变得线性可分。

在构造多层感知机解决上述问题时，遵从如下两个定理：

• 定理1：若隐层节点（ 单元） 可任意设置， 用三层阈值节点的网络， 可以实现任意的二值逻辑函数。
• 定理2：若隐层节点（ 单元） 可任意设置， 用三层S型非线性特性节点的网络， 可以一致逼近紧集上的连续函数或按范数逼近紧集上的平方可积函数。

在训练多层感知机时使用BP算法。BP算法，也称反向传播算法（Backpropagation Algorithm），是一种常用的神经网络训练算法，用于调整神经网络的权重参数，从而实现对给定数据的分类或回归等任务。

BP算法是一种迭代算法，其基本思想是利用误差反向传播的方法，通过不断调整神经网络中的权重，使得网络输出与实际输出之间的误差最小化。具体来说，BP算法包含以下几个步骤：

1. 前向传播：将输入数据通过神经网络，得到网络的输出结果。
2. 计算误差：将网络输出结果与真实标签进行比较，计算网络的误差。
3. 反向传播：将误差从输出层向输入层反向传播，计算每个权重对误差的贡献，并更新权重参数。
4. 重复迭代：不断重复步骤1到步骤3，直到网络的误差达到预设的阈值或者训练次数达到最大值。

在实际应用中，BP算法需要通过大量的训练数据进行迭代训练，以得到最优的网络参数。此外，BP算法也存在一些问题，例如容易陷入局部最优解、训练速度较慢等。因此，针对不同的问题，也会有一些改进的BP算法被提出，例如基于动量的BP算法、自适应学习率的BP算法等。

设我们的神经网络有L层，第l层有nl个神经元，第l层的第i个神经元的输出为$y_i^{(l)}$，第l层的第i个神经元到第l+1层的第j个神经元的权重为$w_{ij}^{(l)}$，第l+1层的第j个神经元的输入为$z_j^{(l+1)}$，误差函数为$E$，则BP算法的推导过程如下：

1. 前向传播

假设输入为$x$，通过前向传播，可以得到第l层的输出$y^{(l)}$，即：
$$y^{(l)}=f(z^{(l)})$$
其中，$f$表示激活函数，$z^{(l)}$表示第l层的输入，它是由前一层的输出和权重计算得到的：
$$z^{(l+1)}=\sum _{i=1}^{nl}{w}_{ij}^{(l)}{y}_j^{(l)}+b^{(l+1)}$$
其中，$b^{(l+1)}$表示第l+1层的偏置。

2. 计算误差

通过前向传播，可以得到神经网络的输出结果$y^{(L)}$，将其与真实标签进行比较，可以得到误差$E$。具体来说，如果是分类问题，可以使用交叉熵误差函数，如果是回归问题，可以使用均方误差函数：
$$E=\frac{1}{2}\sum _{i=1}^{nL}(y_i^{(L)}-t_i{)}^2$$
其中，$t$表示真实标签。

3. 反向传播

在反向传播中，我们需要计算每个权重对误差的贡献，并更新权重参数。具体来说，需要计算每个神经元的误差项${\delta }_i^{(l)}$，以及每个权重的梯度$\frac{\partial E}{\partial w_{ij}^{(l)}}$和$\frac{\partial E}{\partial b^{(l)}}$。

首先，计算输出层的误差项${\delta }^{(L)}$：
$${\delta }_i^{(L)}=\frac{\partial E}{\partial z_i^{(L)}}=\frac{\partial E}{\partial y_i^{(L)}}\frac{\partial y_j^{(L)}}{\partial z_i^{(L)}}=(y_i^{(L)}-t_i)f^{\prime }(z_i^{(L)})$$
其中，$f^{\prime }$表示激活函数的导数。接下来，计算第l层的误差项${\delta }^{(l)}$：
$${\delta }_i^{(l)}=\frac{\partial E}{\partial z_i^{(l)}}=\sum _{j=1}^{nl+1}\frac{\partial E}{\partial z_j^{(l+1)}}\frac{\partial z_j^{(l+1)}}{\partial y_i^{(l)}}\frac{\partial y_i^{(l)}}{\partial z_i^{(l)}}=\sum _{j=1}^{nl+1}{\delta }_j^{(l+1)}{w}_{ji}^{(l)}{f}^{\prime }(z_i^{(l)})$$

其中，$w_{ji}^{(l)}$表示第l+1层的第j个神经元到第l层的第i个神经元的权重。由此，可以递归地计算出所有层的误差项。

接下来，计算权重的梯度$\frac{\partial E}{\partial w_{ij}^{(l)}}$和$\frac{\partial E}{\partial b^{(l)}}$。根据链式法则，有：
$$\frac{\partial E}{\partial w_{ij}^{(l)}}=\frac{\partial E}{\partial z_j^{(l+1)}}\frac{z_j^{(l+1)}}{\partial w_{ij}^{(l)}}={\delta }_j^{(l+1)}{y}_i^{(l)}$$
$$\frac{\partial E}{\partial b^{(l)}}=\frac{\partial E}{\partial z_j^{(l+1)}}\frac{\partial z_j^{(l+1)}}{\partial b^{(l)}}={\delta }_j^{(l+1)}$$
最后，根据梯度下降法，更新权重和偏置：
$$w_{ij}^{(l)}-\eta \frac{\partial E}{\partial w_{ij}^{(l)}}\to w_{ij}^{(l)}$$
$$b^{(l)}-\eta \frac{\partial E}{\partial b^{(l)}}\to b^{(l)}$$
其中，$\eta$表示学习率，控制更新步长。