线性回归 linear regression 原理及推导

概述

• 优点：容易计算，易于理解和实现
• 缺点：容易欠拟合
• 适用数据类型：数值型和标称型

口头描述

线性回归试图构造一个线性函数，去拟合尽可能多的样本点。重点是如何确定线性函数的参数，使得该函数尽量穿过样本点，一般使用均方误差最小化来作为参数拟合效果的标准。

算法推导（解方程的方法）

• 给定训练数据集 D = { ( x i , y i ) } i = 1 m D=\{(x_i,y_i)\}_{i=1}^m D={(xi​,yi​)}i=1m​,样本$x_i$由$d$个属性描述，线性模型为:
  $$f_{\omega }(x)={\omega }^{T}x+b,f(x)\backsimeq y$$
• 使用均方误差衡量$f(x)$与$y$之间的差别，我们的目标是使他们的差别最小化。
  $$E_s(squareloss)=\sum _{i=1}^m(f(x_i)-y_i{)}^2$$
• 使用矩阵进行表达
  • 参数向量矩阵：
    $$\hat{\omega }=(\omega ;b)=\left[\begin{array}{c}{\omega }_1\\ {\omega }_2\\ ...\\ {\omega }_d\\ b\end{array}\right]$$
    注意: $\hat{\omega }$是$d+1$行$1$列的
  • 数据集矩阵：
    $$X=\left[\begin{array}{ccccc}{x}_{11}& x_{12}& \dots & x_{1d}& 1\\ x_{21}& x_{22}& ...& x_{2d}& 1\\ ⋮& ⋮& \ddots & ⋮& ⋮\\ x_{m1}& x_{m2}& \dots & x_{md}& 1\end{array}\right]=\left[\begin{array}{cc}{x}_1^T& 1\\ x_2^T& 1\\ ⋮& ⋮\\ x_m^T& 1\end{array}\right]$$
    注意：最后一列全是1，前d个元素对应样本的d个属性值
  • 标记矩阵:
    $$y=\left[\begin{array}{c}{y}_1\\ y_2\\ ⋮\\ y_m\end{array}\right]$$
• 则均方误差为：
  $$E_s=(y-X\hat{\omega }{)}^T(y-X\hat{\omega })$$
• 令$E_{\hat{\omega }}=(y-X\hat{\omega }{)}^T(y-X\hat{\omega })$,对$\hat{\omega }$求导得：
  $$\frac{\partial E_{\hat{\omega }}}{\partial \hat{\omega }}=2X^T(X\hat{\omega }-y)$$
  令上式为零可得$\hat{\omega }$的最优解的闭式解
  $${\hat{\omega }}^{\ast }=(X^{T}X{)}^{-1}{X}^{T}y$$
  解出上式，也就得到了模型的公式：
  $$f(\widehat{x_i})={\widehat{x_i}}^T(X^{T}X{)}^{-1}{X}^{T}y$$
  其中，
  $$\widehat{x_i}=\left[\begin{array}{c}{x}_{i1}\\ x_{i2}\\ ⋮\\ x_{id}\\ 1\end{array}\right]$$

算法推导（梯度下降）

目标是使均方误差最小化，即：
$$minE(squareloss)=\frac{1}{2m}\sum _{i=1}^m(f_{\hat{\omega }}(x_i)-y_i{)}^2$$
这里的$\frac{1}{2m}$是为了方便求偏导

对误差函数做偏导,对于每个特征(${\omega }^n$)，其梯度（偏导）为：
$$\frac{\partial E}{\partial {\omega }^n}=\frac{1}{m}\sum _{i=1}^m(f_{\hat{\omega }}(x_i)-y_i)\cdot x_i^n$$
这里是对每一个特征进行了求导，因为
$$f_{\hat{\omega }}(x_i)={\omega }^0{x}_i^0+{\omega }^1{x}_i^1+\cdots +{\omega }^n{x}_i^n(x_i:the{i}^{th}data)$$
则梯度下降的流程就是：

重复此过程直到收敛 {

$${\omega }^0:={\omega }^0-\alpha \frac{1}{m}\sum _{i=1}^m(f_{\hat{\omega }}(x_i)-y_i)\cdot x_i^0$$
$${\omega }^1:={\omega }^1-\alpha \frac{1}{m}\sum _{i=1}^m(f_{\hat{\omega }}(x_i)-y_i)\cdot x_i^1$$
$$⋮$$
$${\omega }^n:={\omega }^n-\alpha \frac{1}{m}\sum _{i=1}^m(f_{\hat{\omega }}(x_i)-y_i)\cdot x_i^n$$
}

解释一下，${\sum }_{i=1}^m(f_{\hat{\omega }}(x_i)-y_i)$的意思是计算每个预测值与实际值的差别的总和。另外，对每个${\omega }^i$进行更新都是独立的，应当把所有的${\omega }^i$全部计算出来后再对其进行赋值更新。

$X^{T}X$的要求

当矩阵$X^{T}X$是满秩矩阵的时候，上述最优解成立，但是很多情况下$X^{T}X$往往不是满秩矩阵，此时可以解出$\hat{\omega }$,他们都能使均方误差最小化，选择哪一个作为输出，将由学习算法的归纳偏好决定，常见的做法是引入正则化项。

对数线性回归

我们希望回归模型去逼近$lny$不是$y$时，模型变为
$$lny={\omega }^{T}x+b$$
这就是对数线性回归