LVQ学习向量量化网络

一、学习向量量化

       LVQ神经网络是一种混合网络,通过有监督及无监督的学习来形成分类。

       在LVQ网络中,第一层的每个神经元都制定给某给类,常常几个神经元被制定给同一类,每类再被指定给第二层的一个神经元。第一层神经元的个数S1,第二层神经元个数S2,至少相同,并且通常大一些。

       和竞争网络一样,LVQ网络的第一层的每个神经元学习原型向量,它可以对输入空间的区域进行分类。我们通过直接计算距离而非内积来模拟LVQ网络。其优点是向量不必先规格化。


      LVQ第一层净输入:


,第一层输出


因此权值向量与输入向量最接近的神经元的输出将为1,其他神经元输出为0.


子类

      LVQ网络和竞争网络特性几乎相同,区别:竞争网络有非零输出的神经元表示输入向量属于那个类,而对于LVQ网络,竞争获胜神经元表示的是一个子类而非一个类。一个类可能由几个不同的神经元(子类组成)

      LVQ网络的第二层将子类组合成一个类,这是通过W2矩阵来实现的,W2矩阵的列代表子类,而行代表类。每列仅一个1,其他元素都为0。1出现的行表明这个子类属于那个类。

=》子类i是类k的一部分

         例如,对


将隐含神经元1和2和输出神经元1,隐含神经元3和4和输出神经元2相连,即子类1和2是类一的一部分,子类3和4是类二的一部分。

当第三类竞争获胜时

判定p属于第二类

      这种子类组合成类的过程使得LVQ网络产生了复杂的类边界,一个标准的竞争网络曾在局限,即只能创造凸的判定区域。LVQ网络客服了这个局限。


1.LVQ学习

        LVQ网络的学习结合了竞争学习和有监督学习。


每个目标向量除了一个是1以外必须全是0,1出现的行表示输入向量属于那个类。例如,如果要将一个特别的三元素向量归类于四个类中的第二类,可以表达为


        在学习之前,将第一层的每个神经元制定给一个输出神经元,就产生了矩阵W2。一旦定义了W2,他将不会再改变。

2.学习规则

          在每次迭代过程中,一个输入向量p被提供给网络,并且计算每个原型向量与p的距离。隐含的神经元进行竞争,神经元i*获胜,a1的第i个元素被设置为1。接着a1与W2相乘从而得到最终输出a2,也是只有一个非零元素k*。表明p是指定给k*类的。

         如果p分类正确,获胜的隐含神经元向p移动:


         如果p分类错误,则错误的隐藏神经元竞争获胜,因此移动其权值远离p:


3.改进的LVQ网络(LVQ2)

          (1)不当的初始权值使得某个隐含神经元从竞争获胜中停止下来。(良心机制)

          (2)输入的顺序不当使得某神经元的权值进入错误的区域。

    LVQ2:

             当网络正确的分类一种输入向量时,只有一个神经元的权值被移向输入向量;然而如果输入向量被错误地归类,两个神经元的权值都将改变,被错误分类的权值向量被移开输入向量,与输入向量最接近且被归类正确的神经元的权值被移向输入向量。

没有更多推荐了,返回首页