神经网络 组织竞争学习神经网络（1）

组织竞争学习神经网络模型

生物神经网络中，存在着一种侧抑制现象，即当一个神经细胞兴奋后，会对其周围的其它神经细胞产生抑制作用。这种抑制作用使神经细胞之间出现竞争，强者越强，弱者越弱，最终形成一个强兴奋的中心细胞，周围神经细胞处于抑制状态。

这种竞争性的无导师学习策略，学习时只需要输入训练模式，网络就会对输入模式进行自组织，达到识别和分类目的。

具有这种性质的网络有：

• 自组织特征映射 SOM
• 对传神经网路 CPN
• 自适应共振模型 ART
• 认知机模型等

（自组织特征映射）SOM网络

自组织特征映射SOM1981年提出，基于生物神经细胞的如下两种功能：

1.实际的神经细胞中有一种特征敏感细胞，在外界信号的刺激下，通过自学习形成对某一种刺激（激励）特别敏感的神经元。

2.生物神经细胞在外界的刺激下，会自动聚集而形成一种功能柱，一个功能柱的细胞完成同一种功能.

结构如上图，输入层神经元与输出层神经元为全互连方式，且输出层中的神经元按照二维形式排列，它们中的每个神经元代表了一种输入样本。

设输入信号模式为X=[x1,x2,...,xn]T,输出神经元i与输入神经元连接的权值为Wij=[wi1,wi2,...,win]T,则输出神经元i的输出为Oi=WiTX，但是只有满足最大输出条件的神经元才产生输出。Ok=max{Oi}

对于输出神经元k以及其周围的8个相邻的神经元仍可按Hebb法则进行自适应权值调整

式中为学习系数，分母是分子的欧几里得距离，此时的权值被正则化。

自组织的过程就是通过学习，逐步把权向量旋转到一个合适的方向上，即权值的调整方向总是与X的方向一致(无须决策和导师)，使Wi(T+1)正比于X(t)。

其数学表达式为，式中X为输出神经元的输入向量,Xb为输出神经元的阈值向量,O为输出神经元的输出向量。

由此可知SOM模型的权值修正规则为

正则化后有

或者

上述介绍中的学习规则都是使用了最大输出的学习规则，但是事实上有两种学习规则。

最大输出规则

最小欧式距离规则

SOM算法有三个关键点

• 对于给定输入模式，确定竞争层上获胜单元。
• 按照学习规则修正获胜单元及其临域单元的连接权值
• 逐步减小临域及学习过程中权值的变化量。

具体步骤：

1.随机选取一组输入层神经元到输出层神经元之间的权值；

2.选取输出神经元i的邻接神经元集合Si,Si(0)是初始时刻为0时的神经元集合形状，Si(t)为t时刻的神经元集合形状；

3.输入一个新样本；

4.计算输入样本与每个输出神经元i之间的欧几里得距离，并选取一个有最小距离的输出神经元i*；

5.按照下式修改输出神经元i*及其相邻神经元的连接权值

式中为学习系数