吃瓜笔记（第五章神经网络）

@[TOC]目录

#神经网络

神经网络是由具有适应性的简单单元组成的广泛并行互连的网络，它的组织能够模拟生物神经系统对真实世界物体所作出的交互反应。

神经网络中最基本的成分是神经元模型。当神经元兴奋时，会向相连的神经元发送化学物质，从而改变这些神经元的电位。

#M-P神经元模型

M-P神经元模型的组成部分是输入值，连接权重，阈值，输出值。

其中理想的激活函数是阶跃函数，因为它不平滑不连续，所以实际应用中使用sigmoid函数，因为它可能将较大范围内的输入值挤压到0-1的输出范围内，所以也称为“挤压函数”。

#感知机与多层网络

感知机由两层神经元组成。

逻辑计算：

#学习率，哑结点

学习率是自己定的；

#线性和非线性问题

对于单层感知机，只能解决线性问题，比如：与，或，非。但它不能解决非线性问题。

要解决非线性问题，可以使用多层感知机，如图

#多层前馈神经网络

隐含层：输入层和输出层之间的层。

特点：类比一下完全图，每个神经元和下一层的所有神经元全互连。

          无同层连接。

#误差逆传播算法（BF算法）

衡量目标：均方误差最小化。

其他神经网络

RBF: 使用径向基函数为隐层的闽值函数，输出为隐层的线性组合。
ART: 竞争性网络，只有获胜神经元会被激活，其余被抑制。每一个新来的样例和已有的模式进行对比，接近哪个神经元则哪个获胜。识别闯值高，分类细，识别闯值低，分类粗糙。
SOM: 输入为高维数据，通过映射输出压缩为低维，同时保持输入的高维拓扑不变。为每个输入数据匹配合适的权重因子。
级联相关网络: 网络结构也作为更新的一项，更新中可增加隐层。
EIman网络: 递归网络，将隐层神经元的输出返回到输入层。