神经网络设计学习笔记（10）——有监督的Hebb学习（3）

仿逆规则
之前我们提到的样本输入模式都是正交的，否则Hebb规则会产生误差。为了解决这种误差，大能们就研究出一个东西叫仿逆规则。
线性联想器的任务是对于输入Pq产生输出tq，即
Wpq=tq，q=1，2 …，Q（1）
如果无法找到使这些等式绝对成立的全职矩阵，那么也希望找到使它们近似成立的权值矩阵。一种方法是：选取一个全职矩阵，使下列性能参数最小化：

如果样本输入向量Pq是标准正交的，那么用Hebb规则来求权值矩阵W，则F(W)为零。如果输入向量不是标准正交的，那么用Hebb规则得到的（F）W将不等于零，而F(W)是否为最小值也不是十分清楚。可以证明，如果使用下面将定义，则所得权值矩阵可使F（W）最小化。
将（1）式写成矩阵形式：WP=T,
其中T=[t1，t2，t3，。。tq],P=[p1，p2，…pq]
上边图片中的式子可以写成下边图片中的形式：

更多 具体关于仿逆规则的详细阐述请翻阅该篇博客的参考文献，这里因个人能力问题不予详细阐述。
参考文献
[1] Hagan M , Hagan, 戴葵. 神经网络设计[M]. 机械工业出版社, 2002.