机器学习之回归模型

基本形式

线性模型(linear model)就是试图通过属性的线性组合来进行预测的函数，基本形式如下：

$$f(x)=w^Tx+b$$
许多非线性模型可在线性模型的基础上通过引入层结构或者高维映射（比如核方法）来解决。线性模型有很好的解释性。

线性回归

线性回归要求均方误差最小:

$$(w^*,b^*)=argmin\sum_{i=1}^{m}{(f(x_i)-y_i)^2}$$
均方误差有很好的几何意义，它对应了常用的欧式距离(Euclidean distance)。基于均方误差最小化来进行模型求解称为最小二乘法(least square method)，线性回归中，最小二乘发就是试图找到一条直线，使得所有样本到直线的欧式距离之和最小。

我们把上式写成矩阵的形式：

$$w^*=argmin(y-Xw)^T(y-Xw)$$
这里我们把b融合到w中，X中最后再加一列1。为了求最小值，我们对w求导并令其为0：
$$2X^T(Xw-y)=0$$
当 $X^TX$为满秩矩阵(full-rank matrix)时是可逆的。此时：
$$w=(X^TX)^{-1}X^Ty$$
令 xi=