第十四章. 竞争网络

        介绍一些与Hamming网络(第三章)及其相似的一些网络，使用十三章介绍的联想学习规则对模式分类进行自适应学习。

14.2.1 Hamming网络（参见第三章）
        横向抑制：每个神经元的输出都对其它神经元的输出产生抑制作用，如第二层递归层中的权值矩阵、
        胜者全得竞争：只有一个神经元有非0输出的竞争关系，如第二层递归层

14.2.2 竞争层
        竞争：定义一个传输函数 a = compet(Wp)，表示递归竞争层所做的工作。a是一个只有一个元素为1（表示最大输出神经元的下标），其它全0的向量。
        竞争学习：我们需要一个在不知道原型向量的情况下用以训练竞争网络权值的规则，instar规则就是一种。由于输出a中只有一个1，且这个1对应权值矩阵中与输入向量p最接近的行，所以只有这一行权值向输入向量移动。通过不同的输入向量训练网络，最终网络权值的每一行都将指向输入向量的不同簇，实现自动分类。
        存在的问题：
                1. 学习速度和最终权值向量的稳定性之间存在矛盾，学习速度越大，稳定性越差。

                2. 当两个簇比较接近时，某个权值向量可能会“侵入”另一个权值向量的领地，从而破坏当前的分类状况。
                3. 若某个初始权值离输入向量太远，则有可能永远得不到训练，成为“死”神经元。
                4. 一个竞争层有多少个神经元就能够分多少个类，但在事先不知道簇的个数时，可能无法适用于某些应用。
                5. 对于竞争层，每个类在输入空间都有一个凸区域，当在非凸区域或类是由不连续的区域组成时，竞争层不能形成类。

        “良心”机制：用以解决问题3. 给每个神经元的净输入增加一个负偏置，每次获胜都减小偏置值，这样可以使经常获胜的神经元获胜的机会减小。

14.2.3 生物学意义上的竞争层
        加强中心/抑制周围：生物学中，大神经元不仅加强自己，也加强邻近的神经元，抑制距离远的神经元，且抑制效应随距离增大而增大，称“墨西哥草帽函数”。

14.2.4 自组织特征图（SOFM）

        为了模仿生物学的活跃区，并且不必实现非线性的加强中心/抑制周围的反馈联结，SOFM作如下简化： 1. 通过竞争决出获胜的神经元i。2. 在获胜神经元周围的所有神经元用Kohonen规则更新权值。这样导致获胜神经元及其周围神经元一起向p移动，多次提交结束后，领域内的神经元将通过学习而拥有彼此相像的学习向量。

        神经元不必排列成二维的形式，可以自定义不同的距离，神经网络的性能对领域的确切形状不敏感。通过自组织后，神经元特征图大致可以反映输入空间的拓扑结构。但是当两部分已经稳定匹配，而两部分之间产生扭曲时，特征图与输入空间的拓扑结构不匹配。

        改进方法：

                1. 训练过程中改变邻域大小，刚开始比较大，渐渐缩小，最后只包含获胜的神经元。这种方法可加速自组织，并且不容易造成扭曲。

                2. 训练过程中改变学习速度，从1慢慢降到0。

                3. 使竞争获胜的神经元有比其它邻域内神经元更高的学习速度，可以加速自组织。

                4. 改进净输入表达式，能直接计算输入向量与原型向量之间的距离，而不用计算内积。这种方法的优点是输入向量不用规格化。

14.2.5 学习向量量化（LVQ）

        LVQ神经网络是一种混合网络，通过有监督和无监督的学习来分类。

        LVQ网络分两层，第一层是竞争层，每个原型向量代表一个子类，这一层决定输入向量属于哪个子类。第二层是线性层，权值矩阵是bool矩阵，每一行表示一个类，一个类关联数个子类，这一层的权值矩阵是预设的，不改变。

                1. 计算距离，LVQ网络在竞争层中不计算内积，而直接用原型向量与输入向量的2范数距离。

                2. 决出获胜子类 -> 计算所属类，若所属类正确，则通过Konohen规则调整权值向量向输入向量移动，w(k) =w(k-1) + alpha * ( p(k) - w(k-1))

                        如果分类不正确，则调整权值向量远离输入向量，w(k) = w(k-1) - alpha * ( p(k) - w(k-1))

        存在的问题：

                1. 仍然有可能存在死神经元。可用“良心”机制解决。

                2. 有时神经元的权值不得不通过一个不代表的类以到达它所代表的类，会因为被不代表的类排斥而无法通过。解决方法：在获胜神经元对输入向量非正确归类时，除了将其从输入向量移开，同时将输入向量最接近的归类正确的神经元移向输入向量。（这就是改进的LVQ网络，LVQ2）