Hebb神经网络

Hebb的神经网络理论

2007-6-3 18:19:00　 人工生命 

jake

我相信很多人都非常喜欢用神经网络作为模拟人类智能的最终武器。但是由于大家接触的多是国内翻译的书籍，所以可能最原始的有关神经网络的思想没有传播进来，下面这段文字是遗传算法之父John Holland的那本经典《自然与人工系统中的适应》一书中有关Hebb的神经网络理论的简述。大家可以看看国外的有关神经网络的非主流观点是什么样的：



下面的讨论将主要基于Hebb在他1949年的奠基性工作以及后来被P.M.Milner(1957)和I.J.Good(1956)进一步发展的有关中枢神经系统的非正式理论。我将尝试对一些主要的假设进行重述，目的是想让读者对该领域的知识有一定的了解。这种观点仅仅是有关CNS过程的一种解释，而且我还对该观点进行了精简。（实际上，一个更完整的理论应该考虑到不同心理机制的区分，包括短期的、中期的和长期的记忆等等）。我们的目标是要表明在一个尽可能简单的背景下，从 框架相关的角度上说，CNS系统可以看作是“在感受器的指引下对环境的适应”。如果读者没有相关背景知识的话，可以从Milner和Good的文章得到一些重要的理解；而Hebb在1958年写的重要的教科书将会提供更丰富的内容。
Hebb理论的基本元素是被称作细胞集合(Cell assembly)的东西。它被认为能够展现下述的主要特征。（在括号中的评论是在参考了该特征的有关神经生理学机理得来的。）

1、 由传感器输入的一些相对简单而关键特征的重复促成了细胞集合的产生。这些特征包括如特定皮肤区域的压强、一个简单的气味刺激、一个元音声音的刺激、光亮的强度升高、在视野中出现的一个特定斜面的直线等等。（从更严格的生理学角度来说，一个细胞集合是由成百个用突触形成大规模连接的神经元细胞组成的。）当一些细胞集合形成以后，另外一些细胞集合会为了响应现存（之前形成的）细胞集合的重复活动而形成。

2、 无论何时，只要那些曾经引起某个细胞集合形成的关键特征被传感器再次捕获到，这组细胞集合都有可能被激活。接着，在这些细胞激活之后，那些响应它们而形成的细胞集合也会被激活。（一旦某个细胞集合中的大量神经元都获得了一个高脉冲刺激，其他的神经细胞就会因为高度连接性而迅速跟随它们。因为这里面有很多成为圈结构的互联，因此作为回路中的回响结果将会使得一个短时间内的刺激而导致长时间的激活。）

3、 细胞集合之间的联系有正有负，并可以被改变。一个细胞集合的激活将会提高与它有正相关的细胞集合的活动可能性而减弱那些与它们有负相关的细胞集合的活动可能性。只要一对正相关的细胞集合被同时激活，那么它们之间的联系也会被加强。负联系则是一种不对称的关系，一个细胞集合可能与另外一个集合发生了负联系，但是第二个集合并不一定与第一个发生了负联系。一旦第一个细胞集合被激活而第二个没有被激活，那么这种负联系会被加强。（在这里，我们假定低层的神经元是这样，如果神经元n2在接收到一个n1发来的脉冲以后就立即产生了一个脉冲，那么n1将很有可能在将来收到一个n2发来的脉冲；相反地，如果n2在接收到了n1的脉冲之后没有产生脉冲，那么n1就很有可能在将来会抑制n2。我们通常认为这个假设是突触层改变的表现结果。）我们需要注意，在这种假设之下，某些细胞集合将很有可能作为一个固定的组合而共同被激活，同时又可以对其他的细胞集合产生抑制作用。（因为一个细胞集合仅仅占整个CNS的所有神经元的一个很小的分数，所以在任意时刻将会有很多的集合同时兴奋，这样不同的兴奋状态组合就有可能对应各种它所感知到的不同物体。）时间上的前后相关（也就是可能的行动序列）会通过适当的不对称性而发生；例如，集合a可以通过正相关引起b的兴奋，而b则有可能通过负相关而抑制a。因此，行动的序列将总是为ab，反之亦然。

4、 在任何时刻，CNS对传感器输入信息的反应是被激活的细胞集合的组合所决定的。（有一些行为例如眼球的移动、反射的激活、随意肌的释放序列等等都会伴随着某种感觉到的事件。通过（3）的机制，与这些行为相关的神经元将会成为同时激活的神经集合的部件。由于从细胞集合发出的脉冲序列覆盖了CNS的活动，所以总体行为就会由那些激活的细胞集合组合所决定。最终，传感器的输入调节了正在CNS中进行的行动因而产生了整体的行为。）

5、 涉及到时间顺序的细胞组合容易受到“需要满足”的影响（例如对饥饿、口渴的满足等等）而增强它们之间的联系。“需要”的程度越大，这种增强放大效应也越大。（“需要”是CNS所控制的有机体的某种内部状态，这些状态主要与生物体的生存有关，它们给CNS的活动设定了基本的限制。在一个典型的环境中，生物体的整体性行为是和“需要”的满足与否有关的，同时这种满足又仅仅是短暂的——生物体通过消耗相关的资源而维持它自己。生物体的某种先天的内在机制会自动地给需求（例如饥饿、口渴等等或者是一些更一般的需要例如好奇心）的满足以回报。神经系统中的某种先天的组织网络能够调节这种回报的产生，使得当需要加强的时候回报的兴奋值也会变得很大。这样，神经系统内部会生成刺激并主动地干扰细胞集合的组合及顺序，直到细胞集合的组合能够使得相应的需要强度减少。最后，在需要没有被满足的情况下，这种干扰就会引起一种在生物体行为库中的广泛的搜索过程——也就是一种在越来越多的特殊的细胞集合组合中去搜索定位的活动，以便生物体能够产生特定的全局反应。而当干扰减弱的时候，这些在短时间内建立联系的细胞集合仍然保持兴奋，这就使得它们的突触连接水平一直保留。那些在干扰增长期间被激活的细胞集合在后来遭遇新的干扰时，也会引起突触激活水平在短时间内的提高。这样在早期能够使得“需要得到满足”的细胞集合序列就会扮演一个特别的角色，它们可以作为“指示器”使用，即会在实际的基本需求来到之前被激活，也就是说，它们成为了一种“后天习得的需要”（learned needs）[目标]。因此，一个一个细胞集合可以构成序列，它能够建立一套“后天习得的需要”的层级结构，甚至有些习得的需要可能离最原始的需要很远。因此，那些包含了大部分先天组织好的网络（innately organized network）的细胞集合或者是与这些先天组织好的网络有联系的细胞集合就会成为第二级或者更高级的“后天习得的需要”的推动者，这些新细胞集合的效果会与那些先天组织好的网络非常相似。

6、 当前激活的细胞集合会预先把与它相联系的细胞集合准备好作为后续者，以使得它们激活后这些后续者很容易被激活。（一个持续不断产生高频脉冲的神经元很容易疲惫从而使得脉冲频率持续的下降。而反之由于很低的激活率，一个被抑制的神经元相对于一般的神经元来说会更不容易疲劳。这就使得在刚刚失去抑制之后的神经元是非常敏感的，所以，一种抑制性的点火装置（priming）就会形成。也有可能这种装置是由于激活神经元之间的轴突上的“点火分子”（priming molecule）的传递作用引起的。这种点火装置可以给CNS提供预测和期望的能力。这样，系统将期望从所有可能的选择中选择一组特征集合。当点火的（primed）细胞集合顺序激活的时候——也就是说相应的预测得到了证实——相应的联系就会在（3）的机制作用下被加强。最后由这些相互联系构成的网络将会在CNS内部形成一个对外部环境的模型。这个模型是动态的因为它能够在感知数据输入条件下根据模型的预测预先设置一些暂时的序列。通过自省我们可以确认，对于人类的CNS来说，环境的模型实际上是用于比较各种可选择的行动过程的。这个模型最终会使得原始需要得到实现，但是需要与“指示器的引导”机制共同工作，而单独的需要很少能完全直接决定行动）

——————

很多人都认为遗传算法能够模拟的智能水平很低，但是，他的作者John Holland实际上早已经跳出了遗传算法最初的思维模式。他后来的分类器系统，甚至一个自主主体的模型就包含了类似上述的神经网络的思路。然而，Holland的这些思路并不流行，最大的原因可能是，Holland自己也没有拿出一个非常强有力的实证案例来。也就是说，这一思路可能存在着某种缺陷。

转载：http://www.swarma.org/swarma/detail.php?id=6644