M2：Linear Regression Study Note

最新推荐文章于 2024-07-06 10:33:27 发布

INNER PEACE M

最新推荐文章于 2024-07-06 10:33:27 发布

阅读量208

点赞数

分类专栏： MachineLearning 基础

本文链接：https://blog.csdn.net/maggieJJ/article/details/85800987

版权

MachineLearning 基础专栏收录该内容

4 篇文章 0 订阅

订阅专栏

写在前面：本文只是我自己的学习笔记，很多我认为基础的东西就不写了，当然很多高深的东西，我还不会也没办法写。很多词汇也没用标准的定义，不是我不知道标准定义是什么，而是我觉得那些翻译的词汇晦涩难懂，还是用通俗语言写出来更好！

0、算法简介

线性回归可以对连续型的数据做出预测，线性回归的预测一般是根据线性回归方程(regression equation)进行预测，一般线性回归方程如下写法：
$y = w_1*x_1+w_2*x_2+...+w_n*x_n+b$

这里，w₁，w₂，… w_n 称为回归系数(regression weights)
b 称为截距(intercept)，不过计算的时候可以把b写在w里面

线性回归意味着可以将输入的特征项分别乘以一些常数项，再将结果加起来得到结果值。
另一种称为非线性回归的算法，就不是特征项乘以常数后相加，而是相乘得到结果值。

线性回归的特点：
1、优点：结果易于理解，计算上不复杂
2、缺点：对非线性的数据拟合性不好

本文介绍普通线性回归、局部加权回归、岭回归、Lasso回归。

1、普通线性回归模型

1.1 理论知识

在实际问题中，我们会有一堆输入数据的特征值，可以存在矩阵大X中(每一行一个样本，每一列是一个特征值)，对于每个样本我们也有其数值，可以存放在向量小y中(每一个值代表一个样本的数值)，此时y=X*w(我们把每一个样本加一个特征，让其值是1，相当于大X多了一列，那么w也就多了一列，多出来的那列的数值就是b值，这样写起来比较方便)，那么我们怎么通过已知的X，y求出w(包含b)，以便我们知道一个新样本的特征值X，能预测出他的y值。

下面写一下求解w的方法：

1. 平方误差

我们已知的数值是y，预测出来的数值是y_，y和y_相差的越小，那么说明预测的结果越准确，如果把每一个样本的y和y_的误差简单相加，会使得正负值相互抵消，所以采用平方误差，这也是线性函数的损失函数cost：
$\sum^{m}_{i=1}(y_i - x_i^Tw)^2 \tag 1$
m：样本个数； x：每个样本的所有特征向量

写成矩阵形式如下： $(y-Xw)^2 \tag 2$

2. 普通最小二乘法（OLS-ordinary least squares）

已知数值和预测数值的误差越小，那么预测的结果就可靠，也就是说求得的w越准确。这里求最小的误差，当然误差是平方(也就是二乘)，因此最小二乘法得名。

误差最小，也就是(1)、(2)式的数值最小，为了计算方便以及和实际运算一致，我们采用(2)式，(2)式中， $y$ 和 $X$ 是已知的，(2)式是关于 $w$ 的函数，因此可以对 $w$ 求导数，另其导数等于0，即可求出 $w$ 的最优解。

(2)式对 $w$ 求导数：
$\tag 3$
(3)式等于0，可得：
$\tag 4$
(4)式整理之后，可得：
$\tag 5$
(5)式左右都乘以 $X^T$ ，因为 $X^TX$ 是方阵，方阵是矩阵可逆的充分不必要条件，如果 $X^TX$ 存在逆矩阵(不可逆的情况一会再讨论)，则可以求出来 $w$ 的值：
$\hat{w} = (X^TX)^{-1}X^Ty \tag 6$

这样通过最小二乘法，我们就求出来了 $w$ 的值，因此也就求出来了线性方程。

对于求出来的线性方程的评估，可以使用 $R^2$ 和皮尔森相关系数，关于这两个系数的计算可以参考另一篇学习笔记 $R^2和皮尔森相关系数$

2、局部加权回归模型(Locally Weighted Linear Regression)

下图数据来源于《机器学习实战》Ch08/ex0.txt，算法使用上述普通线性回归模型，红色的线是预测出来的线性回归方程，该方程的 $R^2=0.97$ ，皮尔森相关系数0.99，整体来看这样的结果已经很好了，但是观察局部，就会发现，局部拟合的并不是很好，这也是线性回归出现的局部欠拟合现象。

在这里插入图片描述
为了解决这个问题，可以给每一个样本加权重，所有样本的权重就是一个n_samples维度的权值矩阵W，公式6就变成如下形式：

$\hat{w} = (X^TWX)^{-1}X^TWy \tag 7$

LWLR是用核函数对距离预测点近的点赋予更高的权重，一般使用高斯核函数，高斯核对应的权重如下：
$exp(-\frac{\left\|x_i-x\right\|^2}{2k^2}) \tag 8$

这就是局部加权线性回归，它是一个无参数估计，关键就是这个k值的选择，选择较小的k值，那么核较小，会出现过拟合的情况，如果核较大，会出现欠拟合的情况，如果k=1，则权重就没什么用了。下图是使用k=0.01和k=0.003进行拟合，可以看出k值选取的过小=0.003，会出现过拟合。
在这里插入图片描述

还有两篇文章写的很好，最线性回归做了一些补充，列在这里：

加权最小二乘法与局部加权线性回归

高斯－马尔可夫定理以及为什么最小二乘法是最佳线性无偏估计

3、岭回归模型(Ridge Regression)

当样本的特征比样本数量还多，则输入的矩阵 $X$ 不再是满秩矩阵，则它的逆矩阵就不会存在。这时候引入岭回归，岭回归就是在矩阵 $X^TX$ 上加一个 $\lambda I$ ，从而使矩阵非奇异，那么岭回归的系数计算公式将变成：
$\hat{w} = (X^TX+\lambda I)^{-1}X^Ty \tag 9$

这里通过引入 $\lambda$ 来限制系数 $w$ 的数值，这就相当于普通最小二乘法加一个限制：
$\sum_{k=1}^{n}w_k^2 < \lambda$
岭回归属于L2正则化，会缩减系数，但是不会把系数缩减到零。
岭回归 $\lambda$ 的选择，可以给定很多数值，通过岭际线来选择，选择平滑的那部分的 $\lambda$ 数值。
在这里插入图片描述