西瓜书第三章\线性回归

最新推荐文章于 2025-04-28 21:11:34 发布

杨世颜

最新推荐文章于 2025-04-28 21:11:34 发布

阅读量364

点赞数 4

文章标签：机器学习人工智能

本文链接：https://blog.csdn.net/2301_78471905/article/details/142423589

版权

线性模型

线性回归

线性模型

$f(x)=\omega_{1}x_{1}+\omega _{2}x_{2}+...+\omega _{d}x_{d}+b$

$f(x)=\omega _{}^{T}x+b$ ， $\omega =(\omega _{1};\omega _{2};...;\omega _{d}).$

线性回归

有序多值离散特征：“高度”的取值高、中、低可转化为{1.0,0.5,0.0}；

无序多值离散特征：若有k个属性值，则转化为k维向量比如“瓜”的种类西瓜、南瓜、黄瓜可转化为（0，0，1）、（0，1，0）、（1，0，0）.

损失函数：

$E(w,b)=\sum_ {i=1}^{m}(y_{i}-f(x_{i}))^2$

使得损失函数最小的 $w$ 和 $b$ 为，

$(w_{}^{*},b_{}^{*})=\arg min\sum_{i=1}^{m}(y_{i}-wx_{i}-b)^2$

最小二乘估计：找到一条直线使得所有样本到直线的欧氏距离之和最小，也就是寻找 $w$ 和 $b$ 使 $E(w,b)=\sum_ {i=1}^{m}(y_{i}-f(x_{i}))^2$ 最小。

一元线性回归：将损失函数分别对 $w$ 和 $b$ 求导，得，

$\frac{\partial E(w,b)}{\partial w}=2(w\sum_{i=1}^{m}x_{i}^{2}-\sum_{i=1}^{m}(y_{i}-b)x_{i})$

$\frac{\partial E(w,b)}{\partial b}=2(mb-\sum_{i=1}^{m}(y_{i}-wx_{i}))$

联立求解得到，

$w=\frac{\sum_{i=1}^{m}y_{i}x_{i}-\bar{y}\sum_{i=1}^{m}x_{i}}{\sum_{i=1}^{m}x_{i}^2-\bar{x}\sum_{i=1}^{m}x_{i}}$

把 $\bar{y}\sum_{i=1}^{m}x_{i}=\bar{x}\sum_{i=1}^{m}y_{i}$ ， $\bar{x}\sum_{i=1}^{m}x_{i}=\frac{1}{m}(\sum_{i=1}^{m}x_{i})^2$ 代入式子，得到，

$w=\frac{\sum_{i=1}^{m}y_{i}(x_{i}-\bar{x})}{\sum_{i=1}^{m}x_{i}^2-\frac{1}{m}(\sum_{i=1}^{m}x_{i})^2}$

$b=\frac{1}{m}\sum_{i=1}^m(y_{i}-wx_i)$

多元线性回归：令，

$\hat{w}=(w;b)$

$X=\begin{pmatrix} x_1^T &1 \\ x_2^T&1 \\ ... & ...\\ x_m^T & 1 \end{pmatrix}$

则，

$f(x)=X\hat{w}$

$E_{\hat{w}}=(y-X\hat{w})^T(y-X\hat{w})$

$\hat{w}^*=\arg_{\hat{w}} min(y-X\hat{w})^T(y-X\hat{w})$

对损失函数求导，

$\frac{\partial E_{\hat{w}}}{\partial \hat{w}}=\frac{\partial y^Ty}{\partial \hat{w}}-\frac{\partial y^TX\hat{w}}{\partial \hat{w}}-\frac{\partial \hat{w}^TX^Ty}{\partial \hat{w}}+\frac{\partial \hat{w}^TX^TX\hat{w}}{\partial \hat{w}}$

$=0-X^Ty-X^Ty+(X^TX+X^TX)\hat{w}$

$=2X^T(X\hat{w}-y)$

当 $X^TX$ 为满秩矩阵或正定矩阵时，令 $\frac{\partial E_{\hat{w}}}{\partial \hat{w}}$ 为零，得到，

$2X^T(X\hat{w}-y)=0$

$2X^TX\hat{w}=2X^Ty$

$\hat{w}^*=(X^TX)^{-1}X^Ty$

故，

$f(\hat{x_i})=X(X^TX)^{-1}X^Ty$ .