线性回归Linear regression深刻理解

George_here

已于 2024-01-31 10:43:20 修改

阅读量618

点赞数 13

文章标签：线性回归算法回归

于 2024-01-29 15:39:51 首次发布

本文链接：https://blog.csdn.net/George_here/article/details/135913431

版权

本文介绍了线性回归的基本概念，从一元线性回归的闭式解推导到多元线性回归的矩阵形式，以及在特征维度大于数据点数量时引入正则化以解决模型问题。

摘要由CSDN通过智能技术生成

Linear Regression

欢迎访问我的网站

Simple Case

线性回归是一种简洁、优雅的方法，它最大的好处就是它有 closed form solution. 让我接下来推导如何得到闭式解。
Suppose we have a dataset ${(x^1,y^1),...,(x^n,y^n)\}$ , where $x^i\in\mathbb{R}^d$ and $y^i\in\mathbb{R}$ . 现在我们找一个线性方程 $f(x)=w^Tx+b$ 去拟合数据。

我们先讨论简单的情况 d=1, i.e., $x^i$ 是一个实数. 我们可以把函数写作 $f(x)=w_1x+w_2$ .
我们只要找到 $w_1$ and $w_2$ 使得 $\underset{w_1,w_2}{\operatorname{argmin}} \frac{1}{2}\sum_{i=1}^n(y^i-w_1x^i-w_2)^2$ .
用矩阵的语言表述

$\underset{w_1,w_2}{\operatorname{argmin}} \frac{1}{2} \left\| \begin{bmatrix} y^{1} \\ \vdots \\ y^{n} \end{bmatrix} - \begin{bmatrix} x^{1} & 1 \\ \vdots & \vdots \\ x^{n} & 1 \end{bmatrix} \cdot \begin{bmatrix} w_1 \\ w_2 \end{bmatrix} \right\|^2_2$

让我们用数学语言表述上面的矩阵 $X^T, Y, w$ . （这里把中间的矩阵记为X转置只是一种人为规定的）
$X^T \in \mathbb{R}^{n\times 2}$ , Y $\in \mathbb{R}^{n}$ , w $\in \mathbb{R}^{2}$ .
我们现在的问题转化成了 $\underset{w}{\operatorname{argmin}} \frac{1}{2}\|Y-Xw\|^2_2$ .
要求解，我们只需对loss函数求对于 $w$ 的导数，令导数为0即可
$\frac{1}{2}(Y-X^Tw)^T(Y-X^Tw)= \frac{1}{2}(Y^TY-Y^TX^Tw-w^TXY +w^TX^TXw)\\ \frac{\partial L}{\partial w} = \frac{1}{2}(0-XY-XY+2XX^Tw) = 0 \\ w = (XX^T)^{-1}XY$

General Case

我们现在讨论普遍的情况，如higher order polynomial regression的问题。
主要，现在 $x^i$ 不是一个是实数了. Suppose we have a dataset ${(x^1,y^1),...,(x^n,y^n)\}$ , where $x^i\in\mathbb{R}^d$ and $y^i\in\mathbb{R}$ . 我们需要找到多项式函数 $f(x)=w_0+w_1x+w_2x^2+...+w_dx^d$ 去拟合数据。
$\text{arg min}_{w_0, w_1, \ldots, w_d} \frac{1}{2} \left\| \begin{bmatrix} y^{(1)} \\ \vdots \\ y^{(N)} \end{bmatrix} - \begin{bmatrix} (x^{(1)})^d & \cdots & x^{(1)} & 1 \\ \vdots & \ddots & \vdots & \vdots \\ (x^{(N)})^d & \cdots & x^{(N)} & 1 \end{bmatrix} \cdot \begin{bmatrix} w_d \\ \vdots \\ w_1 \\ w_0 \end{bmatrix} \right\|^2$
相似的，X^T $\in \mathbb{R}^{n\times d}$ , Y $\in \mathbb{R}^{n}$ , w $\in \mathbb{R}^{d}$ . 现在的问题也是 $\underset{w}{\operatorname{argmin}} \frac{1}{2}\|Y-Xw\|^2_2$ .
求解方法也是一样的，我们只需对loss函数求对于 $w$ 的导数，令导数为0即可
$w = (XX^T)^{-1}XY$

Regularization

在现实中，我们可能会遇到情况 $n < d + 1$ . （想象这种情况，矩阵X的行数n代表数据点个数，列数d代表feature维度，现在数据点比feature少，我们是不能得到唯一的结果的）
这样 $XX^T$ 不是可逆的。我们可以增加正则项来解决这个问题。
增加正则项后，目标函数变成了 $\underset{w}{\operatorname{argmin}} \frac{1}{2}\|Y-Xw\|^2_2+\frac{\lambda}{2}\|w\|^2_2$ . 现在的closed form solution 变成了 $(XX^T+\lambda I)^{-1}XY$ .
并且正则项还有能防止我们求出的参数过大的优点。