最小二乘有监督回归（一）

最小二乘有监督回归
最小二乘学习法是根据输入训练数据，不断调整输入数据的权重，直到模型输出和训练集输出的平方误差最小。所以训练目的就是权重。
平方误差：

（Xi，Yi）是输入的数据，theta代表权重。
使用线性模型，也就是如下图，可以理解为类似级数的感觉
如此一来，平方误差可以表示为

而线性模型可以表示为

平方误差关于权重theta的偏微分就可以写成

偏微分为0时，最小二乘满足关系式

根据这个等式可以求出权重theta。
对于不可逆矩阵，可以使用广义逆矩阵，如图

matlab例程如下：

此例程中矩阵求解被简化，
来提高计算效率。

加权最小二乘
平方误差

加权后求解


以上是线性模型下的最小二乘。