原文:http://m.blog.csdn.net/article/details?id=52574264
这里先介绍GrossBerg网络是因为后面CPN中,输出层会用到GrossBerg网络,所以,先做些简单说明。
1.生物学启发
Grossberg网络是受到了人类视觉系统的生理学研究的启发,如图,视网膜是大脑的一部分,它由三层神经细胞组成:
外层
光感受器:转化光成电信号
杆状体 – 使我们能在昏暗的情况下看见东西
锥体 – 使我们能看到精细的细节和色彩
中间层
双极细胞 – 连接光感受器到第三层
水平细胞 – 连结感受器和双极细胞
无长突细胞 – 连结双极细胞与神经节细胞
第三层
神经节细胞 – 通过视觉神经连结视网膜到大脑
(1)幻觉
克服视网膜的不完善的吸收机制产生了幻觉,Grossberg和其他人使用了大量已知的幻觉来探测自适应感知机制。
视网膜的吸收过程中存在着不完善之处:
(a)视神经乳头处既无杆状细胞,也无椎体细胞,给视场造成盲点。
(b)动脉和静脉在视网膜后部的光感受器的前面交叉,阻碍了杆状细胞及椎体细胞接收市场中的所有光线。
对此,视觉路径上的神经系统做出了某些补偿处理
(a)应急切断(Emergent Segmentation):补偿了丢失的边界。
(b)特征填充(Featural Filling-In):在产生的边界内填充颜色和亮度
(2)视觉规格化
(a)亮度一致
(b)亮度对比
仅觉察到相对亮度的差别,非绝对亮度。
2.基本线性系统
(1)漏积分器
一阶线性微分方程
(1)
ε是系统的时间常量
对于一个任意的输入p(t),漏积分器的响应是
(2)
当p为常数,n(0)=0时,
上式变为
重要属性:
(a)由于(1)式是线性的,如果输入p按比例变化,则响应n(t)也会以同样的大小按比例变化
(b)漏积分器的响应速度由时间常数ε决定。当ε减少时,响应速度变快,当ε增加时相应速度变慢。
(2)并联模型
操作方程:
p+: 非负激励输入,使网络响应增加
p-: 非负抑制输入,使网络响应减少
b+: 非负常量,上限
b-: 非负常量,下限
上式中,第一部分-n(t)是一个线性衰减项,当n(t)为正时这一项为负,n(t)为负时这一项为正。
第二部分,提供非线性的增益控制,当n(t)比b+小时,这部分为负,但当n(t)=b+时变为0,提供非线性的增益控制。
第三部分也提供非线性的增益控制,给n(t)设置了一个下限-。
(分析:令,则或,即<n<)
令
得
增加激励输入,网络稳定响应将增加,但总是小于b+ = 1,即保持了相对强度
3.两层竞争网络
(1)短期记忆和长期记忆
Grossberg网络由三部分组成:第一层,第二层和自适应权值。第一层是视网膜操作的一个粗略模型,第二层代表视觉皮层。具有短期记忆(STM)和长期记忆(LTM)机制,能够自适应调整、过滤、标准化和对比度增强。
第一层
Grossberg网络的第一层接收外部输入并规格化输入模式的强度。使用并联模式,以输入向量p计算出来激励输入和抑制输入。
第一层的运算方程
上式是一个有激励输入和抑制输入的并联模式,其中
因此对神经元i的激励输入时输入向量的第i个元素,抑制输入时除了输入向量第i个元素的所有元素之和。
规格化输入模式:加强中心/抑制周围
设
(i=1,2,3.....)
因此所有神经元的上限相同。
在稳定状态下
定义相对强度
其中
稳定状态神经元的活跃度
总活跃度
自此,输入向量已规格化,从而总的活跃度<。而第一层的输出与相对强度成正比,无论总输入P的幅度如何。
Grossberg网络的第一层解释了人类视觉系统的亮度一致性和亮度对比特征。这种网络
(a)对于一个图像的相对强度而非绝对强度是敏感的。
(b)具有加强中心/抑制周围的连接模式,和视网膜神经节细胞的接收区域相似。
eg:一个有两神经元的例子
其相应情况如下图
如上图,对于p1或p2,其第2个元素都是第1个元素的4倍,p2是p1的5倍,,上图可以看出网络的相应保持了输入的相对强度,而同时限制了总强度。
第二层
(1)短期记忆
Grossberg的第二层,是一个连续的instar层,实现(a)规格化这一层的总活跃度(b)对模式产生对比度增强。(c)最后,像短期记忆(STM)一样通过存储对比度增强模式操作
第二层也是用并联模型,与第一层的区别是使用了反馈式连接。反馈使得网络能够存储模式,即使是在输入 撤销之后,反馈也能进行竞争,从而产生模式的对比度增强。
第二层的运算方程为
激励输入:
W2的行在训练之后会代表原型模式。
抑制输入:
eg:一个由两个神经元组成的层
则运算方程为:
如下图,当输入向量时,输入向量加入了0.25秒
第二层输入为
因此第二个神经元是第一个神经元输入的1.5倍,然而在0.25秒,第二个神经元的输出是第一个神经元输出的6.34倍。高与低的对比度急剧的增加了
(2)对比度增强
(a)第二层的输入是第一层的输出(规格化的输入)的内积。最大的内积与输入模式最相近的原型对应。第二层在在神经元之间实行竞争,将易于产生输出模式的对比度增强,保持大的输出并使小的输出减弱。这种对比度增强比起Hamming网络及Kohonen网络通常要缓和一些。在Hamming和Kohonen中,竞争除了一个意外的所有神经元输出归0。而在grossberg网络中,竞争保持大的值而削弱小的值。对比度增强的大小是由传输函数f所决定的。
(b)当输入被置0时,网络进一步增强对比度,并且存储模式。
由上图,当输入撤销(0.25秒后),第一个神经元的输出衰减至0,而同时第二个神经元的输出达到一个稳定状态值0.79.及时在这个输入撤消后,这个输出仍然得到了保存。(非线性反馈=》网络存储模式,对比度增强的加强中心/抑制周围的连接模式)
(3)传输函数
Grossberg第二层的行为很大程度上依赖于传输函数f(n)。例如,假定一个输入在使用一段时间后被撤销
4.学习规则
无监督的Hebb规则
W2的学习规则:
当ni2(t)不活跃时关闭学习:
eg:两个神经元的例子
设α=1,开始时所有权值置为0
模式1用第二层的第一个神经元编码,模式2用第二层的第二个神经元编码。
如下图,只在非0时更新,并且收敛到相应的n1模式:和,
只在非0时得到调整,并且收敛到相应的n1模式。