神经网络基础笔记

---

神经元模型

特点：

• 多个输入，单个输出
• 不同输入权重不同
• 多输入累加整合
• 阈值特性

---

激活函数

激活函数（Activation Function）：也叫连接函数、传递函数、变换函数或激励函数。用于模拟神经元输出与其激活状态之间的联系：输入达到某个阈值后达到激活状态，否则为抑制态。

对神经网络来说，激活函数的主要作用为：进行线性变换，增加系统的非线性表达能力。

常见的激活函数如下：

---

神经网络模型分类

按照信息流向可分为：前馈型网络和反馈型网络。

• 前馈型网络：网络信息从输入层到各隐藏层再到输出层逐层前进。
• 反馈型网络：反馈网络中所有节点都具有信息处理功能，并且每个节点既可以接受输入，同时又可以进行输出。

1 .前馈型神经网络（FeedForward NN）

是一种最简单的神经网络，采用单项多层结构，各神经元分成排列，且每个神经元只与前一层的神经元相连，接收前一层的输出，并输出给下一层，各层间没有反馈。
前馈神经网络示意图如下图所示（单隐层）：

• 输入节点（Input Nodes）：外界信息输入，不进行任何计算，仅向下一层节点传递信息。
• 隐藏节点（Hidden Nodes）：接收上一层节点的输入，进行计算，并将信息传递到下一层节点。
• 输出节点（Output Nodes）：接收上一层节点的输入，进行计算，并将结果输出。

输入层和输出层必须有，隐藏层可以没有，这样就是单层感知器。隐藏层也可以不止一层，有隐藏层的前馈网络即为多层感知器。

2 .反馈型神经网络（FeedBack NN）

又称递归网络，回归网络。是一种将输出经过一步时移再接入到输入层的神经网络系统。神经元可以互连，有些神经元的输出会被反馈至同层甚至前层神经元。
常见的有：Hopfield神经网络，Elman神经网络，Boltzmann机等

前馈神经网络和反馈神经网络的主要区别：

• 前馈神经网络：各层神经元之间无连接，神经元只接受上层传来的数据，处理后传入下一层，数据时正向流动。 反馈神经网络：各层间神经元有连接，数据可以在同层间流动或反馈至前层。
• 前馈神经网络：不考虑输出与输入在时间上的滞后效应，只表达输出与输入的映射关系。 反馈神经网络：考虑输出与输入之间在时间上的延迟，需要用动态方程来描述系统的模型。
• 前馈神经网络的学习主要采用