第七章. 有监督的Hebb学习

    线性联想器：a=purelin(Wp), 属于联想存储器的一种
    联想存储器：学习Q对标准输入输出向量，{p1,t1}, ..., {pq,tq}. 输入p=px时输出t=tx，输入发生微小波动时输出也应只发生微小波动。
    Hebb规则：正的输入产生正的输出，则增加权值，w_new = w_old + alpha*p*t，当t表示对应时刻网络的实际输出时，这是一种无监督学习。而当t表示期望输出时，这就是有监督学习。
    性能：如果输入原型向量是标准正交的，则Hebb规则能为每个输入生成正确的输出结果。如果输入原型向量不是标准正交的，输出结果会有偏差，而型原型输入向量之间的相关总和越高，偏差越大。为了减小误差，可以采用多种方法，包括“仿逆规则”
    仿逆规则：
条件：误差判定函数选定为矩阵的二阶范数，且向量维数大于向量数。
W = T * P+， P+为P的仿逆矩阵，P+ = inv(P' * P)*P'。（不需要对向量规格化）
应用
    自联想存储器：W = sigma(pj * pj')
变形
    1. 如果输入向量过多，会使权值矩阵元素过大，可以增加一个大于0小于1的系数（alpha, 学习速度）。也可以增加一个衰减项，使学习规则像一个平滑滤波器，w_new = (1-gama) w_old + alpha*p*t，gama可以称为遗忘系数，越趋近于1表示遗忘得越快。
    2. 增量规则，t表示 (期望输出 - 实际输出)。增量规则调整权值以使均方误差最小，与仿逆规则得到的结果相同。 优点是每输入一次向量就改变一次权值。