参考文章http://blog.csdn.net/jairuschan/article/details/7517773
最小二乘学习法是对模型的输出和训练集输出的平方误差为最小时的参数进行学习,式中之所以加上系数1/2,是为了约去对进行微分时得到的2。
“LS”是Least Squares的首字母。平方误差是残差的范数,因此最小二乘学习法有时也称为损失最小化学习法。
如果使用线性模型
的话,训练样本的平方差就能够表示为如下形式。
在这里,是训练输出的n维向量,是下式中定义的n*b阶矩阵,也称为设计矩阵