机器学习之线性回归（算法详细推导）

• 标准线性回归
  • 最小一乘法
  • 普通最小二乘法
• 局部加权线性回归
  • 加权最小二乘法
• 岭回归
• LASSO回归

标准线性回归

本质是已知m个$(x_i,y_i)$需要拟合一条型如$y=\omega x+b$的直线$l$。则可根据满足$l$尽可能接近$(x_i,y_i)$，根据点到直线距离公式$\frac{|\omega x_i-y_i+b|}{\sqrt{{\omega }^2+1}}$建立目标函数

$$\underset{\omega ,b}{\min }\sum _{i=1}^m\frac{|\omega x_i-y_i+b|}{\sqrt{{\omega }^2+1}}\Rightarrow 最小一乘\underset{\omega ,b}{\min }\sum _{i=1}^m|\omega x_i-y_i+b|\Rightarrow 最小二乘\underset{\omega ,b}{\min }\sum _{i=1}^m(\omega x_i-y_i+b{)}^2$$

最小一乘法

$$\underset{\omega ,b}{\min }\sum _{i=1}^m|\omega x_i-y_i+b|$$
$\hat{W}$的最优解为 W ^ ∈ { w ∣ w x i − y i + b = 0 } \widehat{W}\in\{w|wx_i-y_i+b=0\} W ∈{w∣wxi​−yi​+b=0}

普通最小二乘法(OLS)

• 目标函数为

$$\underset{\omega ,b}{\min }\sum _{i=1}^m(\omega x_i-y_i+b{)}^2=\underset{\hat{W}}{\min }(X\hat{W}-y{)}^T(X\hat{W}-y)$$
定义$F(\hat{W})=(X\hat{W}-y{)}^T(X\hat{W}-y)$

• 损失函数为
  $$||X\hat{W}-y|{|}^2$$
  其中$\hat{W}=(\omega ,b{)}^T,X=(x_1,x_2,\dots ,x_m,1),y=(y_1,y_2,\dots ,y_m)$

求解

• 通过对$F(\hat{W})$求关于$\hat{W}$的一阶偏导为0，此时求得的$\hat{W}$为驻点，可以得到$\hat{W}$可能最优解为${\hat{W}}^{\ast }=(X^{T}X{)}^{-1}{X}^{T}y$
• 为了验证上面求得的${\hat{W}}^{\ast }$是否是真正的最优解，也就是要验证该驻点是否是极小值点，因此需要对$F(\hat{W})$求关于$\hat{W}$的二阶偏导，如果结果为正定的，则说明该点为极小值点。

线性回归基本表达式

$${\hat{W}}^{\ast }=(X^{T}X{)}^{-1}{X}^{T}y$$

• 陷阱一：$X^{T}X$不可逆,也就是$X$不是列满秩或存在列与列直线相关共线的情况。为解决$X^{T}X$不可逆，我们可以通过改进最小二乘法中大损失函数来解决，也就是正则化处理。常用的改进方法有以下两种分别为岭回归和LASSO回归(Least absolution and selection operator)
• 陷阱二：当特征维数过高$(X\in R^{m\times d})$ ,其中𝑚 为样本个数,𝑑为特征维,求$(X^{T}X{)}^{-1}$的时间复杂度为$O(d^3)$太复杂了，因此采用梯度下降法进行求解

局部加权线性回归（LWLR）

由于线性回归会出现欠拟合现象，因此引入局部加权线性回归

加权最小二乘法

• 目标函数为
  $$\underset{\omega ,b}{\min }\sum _{i=1}^m{w}_i(\omega x_i-y_i+b{)}^2$$
  定义$J(\hat{W})={\sum }_{i=1}^m{w}_i(\omega x_i-y_i+b{)}^2$

• 损失函数为
  $$w||X\hat{W}-y|{|}^2$$

其中$w$是以$w_i$为对角线上的值的对角矩阵，即权重矩阵

求解

对$J(\hat{W})$求关于$\hat{W}$的一阶偏导为0，得到$\hat{W}=(XwX{)}^{-1}{X}^{T}wy$，其中$w_i=exp(-\frac{(x_i-x{)}^2}{2{\sigma }^2})$我们成其为$Gaussian$核，，可以看出$x$越接近$x_i$，则$w_i$就会越大

对$\sigma$的选取

• $\sigma$越小，逼近效果越好，越容易产生过拟合
• $\sigma$越大，逼近效果越差，越容易产生欠拟合
• 则根据模型复杂度-误差图得到如下$\sigma$取值方法
  

岭回归

• 主要思想：修改损失函数,添加惩罚项（L2正则化项 ），在最优解中$X^{T}X$处添加单位向量,把不可逆变成可逆。这里通过引入$\lambda$来限制了所有$\omega$之和，通过引入该惩罚项，能够减少不重要的参数，这 个技术在统计学中也叫做缩减(shrinkage)
  $$X^{T}X->X^{T}X+\lambda I$$
• 目标函数为
  $$\underset{\hat{W}}{\min }=||X\hat{W}-y|{|}^2+\lambda ||\hat{W}|{|}^2$$
  其中$\lambda ||\hat{W}|{|}^2$为正则化项
• 损失函数为
  $$||X\hat{W}-y|{|}^2+\lambda ||\hat{W}|{|}^2$$
• 最优解
  $${\hat{w}}_{\lambda }^{\ast }=(X^{T}X+\lambda I{)}^{-1}{X}^{T}y$$

$\lambda$的选取

• 当$\lambda$越大，容易导致$||X\hat{W}-y|{|}^2$不太起作用，故容易产生欠拟合
• 当$\lambda$越小，故容易产生过拟合
• 首先抽一部分数据用于测试，剩余的作为训练集用于训练参数$\omega$。训练完毕后在测试集上测试预测性能。通过选取不同的λ来重复上述测试过程，最终得到一个使预测误差最小的$\lambda$

LASSO回归

• 主要思想：进行特征选取。修改损失函数，添加L1惩罚项。【选特征，类似于AIC信息准则法】，选取X的子列矩阵$X^{\prime }$使得$(X^{\prime }{)}^T(X^{\prime })$可逆
• 目标函数为
  $$\underset{\hat{W}}{\min }=\frac{1}{2}||X\hat{W}-y|{|}^2+\lambda |\hat{W}|$$
  其中$P_{\lambda }(|\hat{W}|)$为惩罚项
• 损失函数为
  $$J(\hat{W})=\frac{1}{2}||X\hat{W}-y|{|}^2+\lambda |\hat{W}|$$

求解

可通过降维到一维$\frac{1}{2}(\hat{W}-y{)}^2+\lambda |\hat{W}|$进行求解

故将目标函数化简为
$$\underset{\hat{W}\in R}{\min }\frac{1}{2}(\hat{W}-y{)}^2+\lambda |\hat{W}|$$
根据$\hat{W}$与0的关系分为以下两种情况

• $\hat{W}\ge 0$
  $$J(\hat{W})=\frac{1}{2}(\hat{W}-y{)}^2+\lambda \hat{W}$$
  通过对$J(\hat{W})$求关于$\hat{W}$一次偏导为0得到
  $$\hat{W}=y-\lambda$$
• $\hat{W}\le 0$
  $$J(\hat{W})=\frac{1}{2}(\hat{W}-y{)}^2-\lambda \hat{W}$$
  通过对$J(\hat{W})$求关于$\hat{W}$一次偏导为0得到
  $$\hat{W}=y+\lambda$$
  故通过以上两种情况可以得到$y$与$\hat{W}$的关系