第十章. Widrow-Hoff学习算法

        Widrow-Hoff算法是一个近似最速下降法，性能指标是均方差。
ADALINE(ADAptive LInear NEuron，自适应线性神经元)网络： a = purelin(W *p + b)
        a = W' * p + b         =>         a=x' * z, x=[W; b], z=[p;1]
均方差：
         F(x) = E[e^2] = E[(t-a)^2] = E[(t-x' * z)^2] = E[t^2] - 2x' * E[t*z] + x' * E[z * z'] * x
                 = c + 2x' * h + x' * R *x, 其中c = E[t^2], h=E[t*z], R=E[z*z']
        h为输入向量与对应目标输出之间的相关系数，R是输入的相关矩阵。
        可见，均方差性能是一个二次函数，d=-2h，A=2R，赫森矩阵是相关矩阵R的2倍，并且所有的相关矩阵是正定或半正定的，不会有负特征值。
        若相关矩阵是正定的，存在唯一一个驻点，是个强极小点：x* = inv(R) * h，只与相关矩阵有关，所以输入向量的性质决定了是否存在唯一解。
LMS算法（Widrow-Hoff学习算法）：<