竞争网络

一、hamming网络

        hamming网络的目标是判定哪个标准向量最接近于输入向量。判定结果由递归层的输出表示。每个标准模式均对应递归层中的一个神经元，当递归层收敛后，递归层中只有一个神经元的输出值非0值，该神经元指明了哪一个标准模式与输入向量最接近。

1.前馈层

          前馈层用于实现每个标准模式和输入模式之间的相关检测或求内积。前馈层的输出等于输入和每个标准模式的内积加上R（R是向量中元素的个数）。对与这两个等长的向量而言，内积在两个向量指向同方向时最大，指向相反方向时值最小。把内积加上R是为了保证前馈层的输出不会都是负数值。

2.递归层

          即所谓的竞争层，该层神经元用前馈层的输出进行初始化，，然后递归层中的神经元相互竞争以决定谁是胜利者，竞争后只有一个神经元的输出值不为0，竞争取胜的神经元就表示提供给网络的输入的类别（下式2表示第二层）。

（poslin:）

权值矩阵：

其中ε为小于1/(S-1)的一个数，S为顶柜层的神经元个数。

迭代过程：

       从上式，向量中每个元素都减去另一个元素的一部分，而减少的比例相同，均为ε。这样，具有较大值的元素减去的量较少，而具有较小值的元素减去的量较大，这将导致元素值的大小差别进一步扩大，最终使得除了初始值最大的元素继续保持较大的值之外，其他元素的值将逐步变为0。而输入值大于0的元素所对应的神经元便对应于以Hamming距离和输入模式最靠近的标准模式。

      扩展：

      第一层权值矩阵和偏置为

      将第二层权值矩阵对角线元素都设为1，不在对角线上的元素，设为ε

  

横向抑制

       这个矩阵产生横向抑制，即每个神经元的输出都对其他所有的神经元产生一种抑制作用。每次迭代，每个神经元的输出都会随着其他所有的神经元输出的和按比例下降（最小的输出为0）。初始状态最大的神经元比起其他神经元下降的慢一些。最终这个神经元将成为唯一一个有正值输出的神经元。

二、竞争层

1.竞争

         Hamming网络的第二层的神经元激活自己而抑制所有其他的神经元，这就叫做竞争，为简化讨论定义穿数函数compet，来作递归竞争层所做的工作：

它找到经输入最大神经元的下标，并将其输入置为1，所有其他的输出都设置为0。

2.竞争学习

         instar规则：

        对于竞争网络，a支队获胜神经元是非0的。因此，能够从Kohonen规则得到结果

因此权值矩阵中最接近输入向量的行向输入向量移动。

      一旦神经网络学会了如何将输入向量分类，那么对于新向量它也将同样分类。

3.竞争层中存在的问题

         （1）学习速度的选择和最终权值向量的稳定性。接近0的学习速度以为这慢速学习，但一旦权值向量到达一个簇的中心，它将保持在中心附近；反之，接近1.0的学习速度将导致快速学习，然而，一旦权值向量到达一个簇，它将作为它所代表的簇中的不同向量来回震荡。

          （2）当簇彼此靠近时，一个形成某簇圆形的权值向量会侵入另一个权值向量的领地，从而破坏目前的分类状况。

          （3）有时一个神经元的初始权值向量离输入向量太远以至它从未在竞争中获胜，因此也从来得不到学习。解决方法是给每个神经元的经输入加入一个负的偏置，这将使一个经常获胜的神经元获胜的机会减少。（良心机制）

          （4）一个竞争层有多少个神经元就有多少个类，在实现不知道簇的个数时，某些应用将无法适用。