bp神经网络隐含层神经元个数_FNN外其他常见神经网络模型，如RBF、SOM、级联相关网络、Boltzmann机精简介绍...

• Ø RBF： 分类任务中除BP之外最常用
• Ø ART：“竞争学习”的代表 （本文未提）
• Ø SOM：最常用的聚类方法之一
• Ø 级联相关网络：“构造性”神经网络的代表
• Ø Elman网络：递归神经网络的代表
• Ø Boltzmann机：“基于能量的模型”的代表 （本文未提）
• Ø ……

RBF 神经网络 RBF: Radial Basis Function (径向基函数)

• 单隐层前馈神经网络

• 使用径向基函数作为隐层神经元激活函数 ，例如高斯径向基函数

• 输出层是隐层神经元输出的线性组合

训练：

Step1：确定神经元中心，常用的方式包括随机采样、聚类等

Step2：利用BP算法等确定参数

RBF与BP网络的区别

1、局部逼近与全局逼近：

Ø BP：各调参数对网络的输出具有 同等地位的影响，因此BP神经网 络是对非线性映射的全局逼近。

Ø RBF网络的输出与部分调参数有 关，譬如，一个wij值只影响一个yi的输出，RBF神经网络因此 具有“局部映射”特性。（我们的人脑很多时候也是对局部信号作出反应）

2、中间层数的区别

BP神经网络可以有多个隐含层， 但是RBF只有一个隐含层。

3、训练速度的区别

使用RBF的训练速度快，一方面是因为隐含层较少，另一方面，局部逼近可 以简化计算量。对于一个输入x，只有部分神经元会有响应，其他的都近似为0， 对应的w就不用调参了

SOM 神经网络

SOM 神经网络

SOM: Self-Organizing feature Map (自组织特征映射)

• 神经网络在接受外界输入时，将会分成不同区域，不同区域对不同 模式具有不同的响应特征。如人对猫和狗的概念储存在不同区域。

• 竞争型的无监督神经网络

• 将高维数据映射到低维空间（通常为2 维）,高维空间中相似的样本点映射到 网络输出层中邻近神经元

• 目标：为每个输出层神经元找到合适的 权向量以保持拓扑结构

训练：

• 网络接收输入样本后，将会确定输出层的“获胜”神经元（“胜者通吃”）

• 获胜神经元的权向量将向当前输入样本移动

假如输入的数据样本在N为空间上均匀分布（样本点在高维空间呈格子状）， 初始化时的权重w为随机，那么输出层也是随机的，如图(1)。通过不断的迭代 修改权值w，输出层慢慢也呈现出均匀格子结构，如(1)-(8)变化。这个例子说 明SOM神经网络可以把高维空间映射到平面，从而实现降维。

级联相关网络

CC: Cascade-Correlation (级联相关)

构造性神经网络：将网络的结构也当做学习的目标之一，希望在训练过程中找到适合数据的网络结构

训练：

• 开始时只有输入层和输出层

• 级联-新的隐层结点逐渐加入，从而创建起层级结构

• 相关-最大化新结点的输出与网络误差之间的相关性

Elman 网络

递归神经网络：Recurrent NN, 亦称Recursive NN

•网络中可以有环形结构, 可让使一些神经元的输出反馈回来作为输入

• t 时刻网络的输出状态：由t 时刻的输入状态和t-1 时刻的网络状态 共同决定

Elman 网络是最常用的递归神经网络之一

• 结构与前馈神经网络很相似, 但隐层神经元 的输出被反馈回来

• 使用推广的BP算法训练

目前在自然语言处理等领域常用的LSTM 网络， 是一种复杂得多的递归神经网络

参考文献：周志华西瓜书