线性回归与最小二乘

1.简介

回归是指预测的输出值为连续的实值; 线性是说预测函数是属性的线性组合.
$$f(\mathbf{x})={\mathbf{w}}^T\mathbf{x}+b\text{\hspace{1em}(1)}$$
线性模型(linear model)简单, 易于建模, 但却蕴含着机器学习的重要思想.由于$\mathbf{w}$直观地表达了各属性在预测中的重要性, 所以线性模型有着很好的可解释性(comprehensibility).

2. 目标函数

均方误差, square loss, 是回归任务中最常用的性能度量. 它有着很好的几何意义, 因为对应的是常用的欧几里得距离.
所以, 用$w^{\ast },b^{\ast }\text{分别表示模型中}w,b的解$,则
$$({\mathbf{w}}^{\ast },b^{\ast })=\arg \underset{\mathbf{w},b}{\min }\sum [y_i-({\mathbf{w}}^T{\mathbf{x}}_i+b){]}^2\text{\hspace{1em}(2)}$$

3. 求解算法

3.1 最小二乘法

least square method.
基于均方误差最小化进行模型求解的方法称为最小二乘法.

这里为线性最小二乘法, 可求得问题的闭式解, 是 全局最优.
将式(2)做些改动, w由θ表示, b忽略, 同时改写为矩阵形式, 得
$$J(\theta )=\frac{1}{2}(X\theta -Y{)}^T(X\theta -Y)$$
where $X\in R^{m\ast n},\theta \in R^{n\ast 1},Y\in R^{m\ast 1}$
闭式解为: ${\theta }^{\ast }=(X^{T}X{)}^{-1}{X}^{T}Y$

直观

记$$E_{(w,b)}=\sum _{i=1}^m[y_i-({\mathbf{w}}^T{\mathbf{x}}_i+b){]}^2\text{\hspace{1em}(3)}$$
先考虑最简单的情形, $\vec{x}$向量只有一维, 那么分别对w和b进行求导(机器学习西瓜版Page-54):
$${\nabla }_{w}E(w,b)=2(w\sum _{i=1}^m{x}_i^2-\sum _{i=1}^m(y_i-b)x_i)\text{\hspace{1em}(3.1)}$$
$${\nabla }_{b}E(w,b)=2(mb-\sum _{i=1}^m(y_i-w_i))\text{\hspace{1em}(3.2)}$$
然后令(3.1)式与(3.2)式为零可得到w和b最优解的闭式(closed-form)解
$$w=\frac{{\sum }_{i=1}^m{y}_i(x_i-\bar{x})}{{\sum }_{i=1}^m{x}_i^2-\frac{1}{m}({\sum }_{i=1}^m{x}_i{)}^2}\text{\hspace{1em}(3.3)}$$
$$b=\frac{1}{m}\sum _{i=1}^m(y_i-w{x}_i)\text{\hspace{1em}(3.4)}$$

3.2 迭代法

梯度下降法, 牛顿法等, 这些属于迭代法, 求得的为局部最优.

参考

1. sklearn, linear_model