自适应谐振理论ART网络

一、Grossberg网络存在的问题

       之前提过的Grossberg网络和竞争性网络的一个关键问题是不能总是形成稳定的聚类（或分类）。学习过程的不稳定性源于网络的自适应性（或可塑性），前馈型网络完成训练之后，即可投入正常运行。若在使用过程中环境发生了变化，则需要重新构造一个能表现当前环境的样本集，并运用该样本重新对网络进行训练。在这种情况下，不能只用变化后新加的样本对网络进行“补充训练”，这样会破坏网络原有的知识，而只记下新的内容，这种自适应性导致先前的学习内容被破坏，即网络长期存储的内容知识它最后获得训练时系统所面对的样本所蕴含的内容。

      可塑性/稳定性：上述问题被称为“稳定性/可塑性二难问题”。

      应该让系统只接纳重要的新模式，而相应不相关的模式时仍保持稳定性。

      自适应谐振理论（ART）：用于解决“稳定性/可塑性二难问题”，其建立在Grossberg基础上，加入了"期望值"的使用。当每个输入模式提供给该网络时，将其与该模式最接近的匹配的原型向量（期望值）进行比较。如果该模式向量与原型向量不足以匹配时，那么它将作为一个新的原型向量而被选中，通过这种方式，先前学习的内容（原型）就不会被新的学习内容所破坏。

二、ART-1的结构

       基本的ART体系结构如下图所示，在ART1里所有的模式都是二值得，它是Grossberg网络的一个变形，被用来稳定学习过程。改进包括三个部分：第二层（L2）到第一层（L1）的期望值、调整子系统和增益控制。

       ART首先应该是一个分类器，他的L1-L2连接和Grossberg一样，是instar型的，用于聚类（或分类）。输入经过第一层与权值矩阵相乘，在第二正进行竞争决定权值矩阵的哪一列最接近输入向量。学习结束后，L1-L2权值矩阵的每一列都是一个原型模式。、，代表输入向量的一个聚类（分类）。

       在第二层到第一层的反馈连接用于模式回忆，第二层的某个结点被激活，它与第一个的某个原型模式对应（期望值），第一层接着将期望值与输入模式进行比较。

       当期望值与输入模式不能进行密切匹配时（匹配程度界限由ρ值决定），调整子系统将重置第二层。重新选取竞争获胜的神经元，继续进行匹配，指导匹配程度符合要求。

       具体工作过程如下：
     （1）首先向网络提交一个输入模式
     （2）第二层（识别层）的输入为，进行竞争，选出竞争获胜的类，假设为j，=1。
     （3）将该类的代表向量

送回到第一层（比较层）与p进行比较，形成新的输出

此时a1代表了输入与期望值的匹配程度。

      （4）将输入p和第一层（比较层）的输出a1一起输入调整子系统比较其匹配程度（由警戒参数ρ决定），如果系统认为a1可以代表p，则网络进行训练期，更新和；否则，令=0，并抑制其激活，向量p重新输入比较层，重复返回第一步，直到谐振发生。

★注：第四步中，和的更新同时发生，故称为谐振

三、第一层（比较层）

      第一层的主要用途是比较输入（p）模式和来自第二层的期望值模式(),如果模式不能密切匹配（由警戒ρ决定），那么调整子系统会重置第二层。如果模式足够匹配，第一层将结合期望值和输入形成一个新的原型模式。

      第一层的结构如下图

其运算方程为