机器学习--最小二乘法和加权线性回归

本文是对由Stanford大学Andrew Ng讲授的机器学习课程进行个人心得总结。

---

在上一篇文章里我们讨论了关于线性回归和梯度下降的相关知识，本文主要是接着该篇文章的内容继续深入的讨论线性回归中存在的两个优化点，最小二乘法和加权线性回归。

最小二乘法

最小二乘法是从之前的梯度下降方法中优化而来。当我们计算梯度下降时，需要通过迭代的方式不停地计算$\ Θ$ 的结果，该过程花费的时间较长。
（注：梯度下降的公式为 $\ Θ_j := Θ_j - \alpha∑_{(i=0)} ^m(h_Θ(x^{(i)})-y)x_j^{(i)}$ )
最小二乘法是利用矩阵计算对该过程进行优化，其在计算结果的过程中省去了迭代的步骤，故可以较为快速的计算得到最终$\ Θ$ 的结果。在讲述最小二乘法之前，我们需要先明确几个其中用到的矩
阵运算的规则：
我们定义一个函数$\ J(Θ)$, 其矩阵导数为对$\ Θ$ 的各个维度求导:
$\ \nabla_ΘJ = \begin{bmatrix} \frac{\partial J}{\partial Θ_0} \\ \vdots \\ \frac{\partial J}{\partial Θ_n} \end{bmatrix}\quad \in R^{n+1}$
那么之前的梯度下降公式可以表示为:
$\ Θ := Θ - \alpha\nabla_ΘJ$
$\ \alpha$为学习率。
假设函数$\ f$ 是$\ m*n$ 维的矩阵映射，其中的计算为实数运算。现定义实数矩阵A，映射 $\ f(A)$ 对 A的梯度为:
 ∇