神经网络基础及规则

---

1. 神经元模型

特点：

• 多个输入，单个输出
• 不同输入权重不同
• 多输入累加整合
• 阈值特性

---

2. 激活函数

激活函数（Activation Function）：也叫连接函数、传递函数、变换函数或激励函数。用于模拟神经元输出与其激活状态之间的联系：输入达到某个阈值后达到激活状态，否则为抑制态。

对神经网络来说，激活函数的主要作用为：进行线性变换，增加系统的非线性表达能力。

常见的激活函数如下：

---

3. 神经网络模型分类

按照信息流向可分为：前馈型网络和反馈型网络。

• 前馈型网络：网络信息从输入层到各隐藏层再到输出层逐层前进。
• 反馈型网络：反馈网络中所有节点都具有信息处理功能，并且每个节点既可以接受输入，同时又可以进行输出。

前馈型神经网络（FeedForward NN）

是一种最简单的神经网络，采用单项多层结构，各神经元分成排列，且每个神经元只与前一层的神经元相连，接收前一层的输出，并输出给下一层，各层间没有反馈。
前馈神经网络示意图如下图所示（单隐层）：

• 输入节点（Input Nodes）：外界信息输入，不进行任何计算，仅向下一层节点传递信息。
• 隐藏节点（Hidden Nodes）：接收上一层节点的输入，进行计算，并将信息传递到下一层节点。
• 输出节点（Output Nodes）：接收上一层节点的输入，进行计算，并将结果输出。

输入层和输出层必须有，隐藏层可以没有，这样就是单层感知器。隐藏层也可以不止一层，有隐藏层的前馈网络即为多层感知器。

反馈型神经网络（FeedBack NN）

又称递归网络，回归网络。是一种将输出经过一步时移再接入到输入层的神经网络系统。神经元可以互连，有些神经元的输出会被反馈至同层甚至前层神经元。
常见的有：Hopfield神经网络，Elman神经网络，Boltzmann机等

前馈神经网络和反馈神经网络的主要区别：

• 前馈神经网络：各层神经元之间无连接，神经元只接受上层传来的数据，处理后传入下一层，数据时正向流动。 反馈神经网络：各层间神经元有连接，数据可以在同层间流动或反馈至前层。
• 前馈神经网络：不考虑输出与输入在时间上的滞后效应，只表达输出与输入的映射关系。 反馈神经网络：考虑输出与输入之间在时间上的延迟，需要用动态方程来描述系统的模型。
• 前馈神经网络的学习主要采用误差修成法（BP算法），计算过程一般比较慢，收敛速度也比较慢。反馈神经网络主要采用Hebb学习规则，一般情况下计算的收敛速度很快。
• 反馈神经网络更适合应用在联想记忆和优化计算等领域。

---

4. 学习规则

赫布学习规则（Hebb学习规则）

赫布学习规则则为前馈、无导师学习。只根据实际输入和输出调整权重。

• 学习信号简单的等于神经元的输出：
  即代数累加和经过激励函数处理之后即为实际输出，也叫做学习信号。后续例子用net表示。

• 权重向量的调整公式为：

• 权向量各个分量调整为：

赫布学习规则步骤：

1. 初始化权值W，一般赋予0附近的随机数。
2. 初始化学习率η。
3. 对所有输入记录：
   根据输入记录，更新权重值。

赫布学习规则例子：

---

离散感知学习规则

感知器（Perceptron）：是一种前馈网络，同层内无互连，不同层间无反馈，由下层向上层传递，其输入、输出均为离散值，神经元对输入加权求和后，由阈值函数（激活函数）决定其输出。

离散感知器学习规则：代表一种有导师的学习方式，其规定将神经元期望输出（教师信号）与实际输出之差作为学习信号，通过训练调整权值，直到实际输出满足要求（等于或接近于期望输出）。

• 学习信号等于神经元的期望输出与实际输出之差：
  

• 权值调整公式为：

• 权向量各个分量调整为：

离散感知器学习规则步骤：

1. 初始化权值参数W。
2. 初始化学习率η。
3. 对每一样本，实际输出和期望输出的差满足要求：
   根据输入记录，更新权重值。

离散感知器学习规则例子：

---

连续感知器学习规则：δ规则

Delta学习规则（δ Learning Rule）是一种简单的有导师学习算法，根据神经元的实际输出与期望输出差别来调整连接权。

Delta学习思路：

1. 系统首先用一个输入变量，输入网络结构，得到一个输出向量；
2. 每个输入向量都有一个对应的期望输出向量、或者称作是目标向量；
3. 比较实际输出向量与期望输出向量的差别，若没有差别，就不再继续学习；否则连接的权重修改对应的差值（Delta差）；

• 学习信号：

• δ规则的推导：由输出值与期望输出值的最小二次方误差条件，推导δ规则。

• 输出值与期望输出值的二次方误差为：

学习的目的：为了让实际输出值与期望输出值的差最小。即求使E最小的权重W。
根据损失函数的梯度、梯度下降法可知，W沿着梯度的负方向（最小值）按照步长η（学习速率）变化，会快速逼近最小值。
即有：

---

最小均方学习规则（LMS规则）

作用：可使神经元实际输出和期望输出之间的二次方的差最小。

• LMS规则学习信号：（期望输出减去实际输出)

• 权向量调整量：

• 权值分量调整为：

最小均方算法是δ学习规则的特例，其激活函数不同于δ学习规则，不做任何变换，直接输出：

比较：最小均方算法和δ学习规则相比，无需求导数，学习速度快，且有不错的精度。

---

相关学习规则

• 相关学习规则的学习信号为：

• 权向量调整为：

• 权值分量调整为：

赫布学习规则：

• 学习信号简单的等于神经元的输出：
  即代数累加和经过激励函数处理之后即为实际输出，也叫做学习信号。后续例子用net表示。

• 权重向量的调整公式为：

• 权向量各个分量调整为：

与赫布学习规则相比较：

• 相关学习规则从权值调整上来看，是赫布学习规则的一个特例：当赫布规则的激活函数为二进制函数且有Oj = dj时，二者一致。
• 相关学习规则时有导师学习，赫布规则是无导师学习。

---

竞争学习&胜者为王

竞争学习（Competition Learning）：是人工神经网络的一种学习方式。指网络单元群体中所有单元相互竞争对外界刺激模式响应的权力。竞争取胜的单元的连接权重向着对这一刺激有利的方向变化。相对来说竞争取胜的单元抑制了竞争失败单元对刺激模式的响应。

属于自适应学习，使网络单元具有选择接受外界刺激模式的特性。学习发生在胜者集合中各单元连接权重上。

胜者为王学习规则（Winner-Take-All）无导师学习：将网络的某一层设置为竞争层，对于输入了X竞争层的所有p个神经元均有输出响应，响应值最大的神经元在竞争中获胜。

即：

获胜的神经元才有权调整其权向量Wm，调整量为：

随着学习而减少在竞争过程中，竞争层的各神经元所对应的权向量逐渐调整为输入样本空间的聚类中心。

竞争学习&胜者为王的例子：



后面三个样本进行相同计算即可，最终得到如图结果：

---

外星学习规则

内星节点：总是接收其他神经元输入的加权信号，是信号的汇聚点，其对应的权值向量称作内星权向量。

外星节点：总是向其他神经元输出加权信号，是信号的发散点，其对应的权值向量称作外星权向量。

内星学习规则：内星节点的输出响应是输入X和内星权向量W的点积，描述了输入与权向量的相似程度，其更新规则类似于胜者为王：

外形学习规则：属于有导师学习，其目的是为了生成一个期望的m维输出向量d，外星权向量Wj更新通过两者的差异实现，其规则为：

两者的更新规则：

• 内星属于无导师学习；外星属于有导师学习。
• 内星更新依赖于输入和权重的差异；外形更新依赖于输出与权重的差异。

---

以上为本人的机器学习课程的学习笔记，如有错误或建议，请大方提出，谢谢！