机器学习 第5章 神经网络

5.1 神经元模型

神经网络是一种由神经元构成的计算模型，模拟了生物神经系统的工作原理。神经网络中最基本的成分是神经元模型。在生物神经网络中，每个神经元与其他神经元相连，当它"兴奋"时，就会向相连的神经元发送化学物质，从而改变这些神经元内的电位;如果某神经元的电位超过了一个"阔值" ，那么它就会被激活，即 "兴奋"起来，向其他神经元发送化学物质。如下图所示是一个典型的神经元模型。

在这个模型中， 神经元接收到来自 η个其他神经元传递过来的输入信号，这些输入信号通过带权重的连接进行传递，神经元接收到的总输入值将与神经元的阀值进行比较，然后通过"激活函数"处理以产生神经元的输出。

5.2 感知机与多层网络

感知机是一种最简单的神经网络模型，由单个神经元组成。它可以进行二分类任务，并通过调整权重和阈值来学习分类边界。下图是一个简单的感知机模型。
若感知机对训练样例 $(x，y)$ 预测正确，即 $\hat{y}=y$， 则感知机不发生变化，否则将根据错误的程度进行权重调整。但感知机只有输出层神经元进行激活函数处理，即只拥有一层功能神经元，其学习能力非常有限。而我们可学习到，可以使用多层网络模型来解决更为复杂的问题，下面给出其定义。
多层网络是由多个神经元层组成的神经网络模型。其中，输入层接收输入信号，输出层产生最终的输出结果，中间的隐藏层进行信息的传递和处理。多层网络可以解决更复杂的分类和回归问题。多层前馈神经网络是其中的一种典型代表，其示意图如下

5.3 误差逆传播算法

误差逆传播算法是训练神经网络的常用方法。它通过计算输出与目标之间的误差，并将误差从输出层向隐藏层逐层传播，以更新网络中的权重和偏置。这个过程使用梯度下降法来最小化误差函数。
具体原理细节如下：输入层先获得输入样本，再逐层传递信号，最后在输出层产生输出结果。根据结输出果计算误差，然后将误差按原来传播的反方向传播至隐层神经元，最后根据隐层神经元的误差来对连接权和|阈值进行调整，该法代过程循环进行，直到达到某些停止条件为止。

5.4 其他常见神经网络

5.4.1 RBF网络

RBF 网络是一种人工神经网络，具有输入层、隐层和输出层。其隐层使用径向基函数作为激活函数，常用的基函数包括高斯函数。RBF网络可如下表示
$$\phi \left(\mathbf{x}\right)=\sum _{i=1}^q{w}_i\rho \left(\mathbf{x},{\mathbf{c}}_i\right)$$
其中$q$为隐层神经元个数， $c_i$和$w_i$分别是第$i$个隐层神经元所对应的中心和权重，$\rho (x,c_i)$是径向基函数。
通常采用两步过程来训练RBF 网络:第一步，确定神经元中心$c_i$， 常用的方式包括随机采样、聚类等;第二步，利用 BP算法等来确定参数$w_i$和${\beta }_i$。

5.4.2 ART网络

ART网络由比较层、识别层、识别阈值和重置模块构成.其中比较层负责接接收输入样本，并将其传递给识别层神经元。识别层每个神经元对应一个模式类，神经元数目在在训练过程中动态增长以增加新的模式类。在接收到比较层的输入信号后，识别层神经元之间相互竞争以产生获胜神经元。最简单的竞争方式是取距离神经元最近的向量。获胜神经元将向其他识别层神经元发送信号，抑制其撤活。
显然，识别阙值对ART网络的性能有重要影响.当识别阔值较高时，输入样本将会被分成比较多、比较精细的模式类，而如果识别阈值较低，则会产生比较少、比较粗略的模式。

5.4.3 SOM网络

SOM 网络是一种无监督学习的神经网络，用于将高维输入空间映射到低维的拓扑结构中。
SOM 的训练过程很简单:在接收到一个训练样本后。每个输出层神经元会计算该样本与自身携带的权向量之间的距离，距离最近的神经元成为竞争获胜者，称为最佳匹配单元。 然后，最佳匹配单元及其邻近神经元的权向量将被调整，以使得这些权向量与当前输入样本的距离缩小。这个过程不断迭代，直至收敛。
SOM 网络通过竞争学习和自组织的方式，实现对输入数据的聚类和可视化，常用于数据降维、特征提取和可视化。
下面是一个SOM 网络结构图

5.4.4 级联相关网络

级联相关网络是一种动态增量式学习的前馈神经网络，通过动态地添加隐藏层神经元来逐步构建网络结构。级联相关网络可以自适应地调整网络结构和连接权重，适用于复杂模式识别和函数逼近任务。下面是其增加结点过程。
级联相关网络有两个主要成分"级联"和"相关" 。“级联”是指建立层次连接的层级结构。在开始训练时，网络只有输入层和输出层，处于最小拓扑结构;随着训练的进行，新的隐层神经元逐渐加入，从而创建起层级结构。当新的隐层神经元加入时，其输入端连接权值是冻结固定的。“相关”是指通过最大化新神经元的输出与网络误差之间的相关性来训练相关参数。与一般的前馈神经网络相比，级联相关网络无需设置网络层数、隐层神经元数目，且训练速度较快，但其在数据较小时易陷入过拟合。

5.5 深度学习

深度学习的核心思想是通过多层神经网络来模拟人脑的处理方式。与传统机器学习方法相比，深度学习能够自动从原始数据中学习特征，而无需手动设计特征提取过程。

神经网络：由多个层次（输入层、隐藏层和输出层）构成的计算模型，每一层由多个神经元组成。
激活函数：用于引入非线性因素，使得神经网络能够学习复杂的函数映射。常用的激活函数包括ReLU、Sigmoid和Tanh等。
损失函数：用于评估模型输出与真实标签之间的差距。常见的损失函数有均方误差（MSE）、交叉熵损失等。