西瓜书第三章\线性回归

目录

线性模型

线性回归


线性模型

        \(f(x)=\omega_{1}x_{1}+\omega _{2}x_{2}+...+\omega _{d}x_{d}+b\)

        \(f(x)=\omega _{}^{T}x+b\)  , \(\omega =(\omega _{1};\omega _{2};...;\omega _{d}).\)

线性回归

有序多值离散特征:“高度”的取值高、中、低可转化为{1.0,0.5,0.0};

无序多值离散特征:若有k个属性值,则转化为k维向量比如“瓜”的种类西瓜、南瓜、黄瓜可转化为(0,0,1)、(0,1,0)、(1,0,0).

损失函数

\(E(w,b)=\sum_ {i=1}^{m}(y_{i}-f(x_{i}))^2\)

使得损失函数最小的\(w\)\(b\)为,

\((w_{}^{*},b_{}^{*})=\arg min\sum_{i=1}^{m}(y_{i}-wx_{i}-b)^2\)

最小二乘估计:找到一条直线使得所有样本到直线的欧氏距离之和最小,也就是寻找\(w\)\(b\)使\(E(w,b)=\sum_ {i=1}^{m}(y_{i}-f(x_{i}))^2\)最小。

一元线性回归:将损失函数分别对wb求导,得,

\(\frac{\partial E(w,b)}{\partial w}=2(w\sum_{i=1}^{m}x_{i}^{2}-\sum_{i=1}^{m}(y_{i}-b)x_{i})\)

\(\frac{\partial E(w,b)}{\partial b}=2(mb-\sum_{i=1}^{m}(y_{i}-wx_{i}))\)

联立求解得到,

\(w=\frac{\sum_{i=1}^{m}y_{i}x_{i}-\bar{y}\sum_{i=1}^{m}x_{i}}{\sum_{i=1}^{m}x_{i}^2-\bar{x}\sum_{i=1}^{m}x_{i}}\)

\(\bar{y}\sum_{i=1}^{m}x_{i}=\bar{x}\sum_{i=1}^{m}y_{i}\)\(\bar{x}\sum_{i=1}^{m}x_{i}=\frac{1}{m}(\sum_{i=1}^{m}x_{i})^2\)代入式子,得到,

\(w=\frac{\sum_{i=1}^{m}y_{i}(x_{i}-\bar{x})}{\sum_{i=1}^{m}x_{i}^2-\frac{1}{m}(\sum_{i=1}^{m}x_{i})^2}\)

\(b=\frac{1}{m}\sum_{i=1}^m(y_{i}-wx_i)\)

多元线性回归:令,

\(\hat{w}=(w;b)\)

\(X=\begin{pmatrix} x_1^T &1 \\ x_2^T&1 \\ ... & ...\\ x_m^T & 1 \end{pmatrix}\)

则,

\(f(x)=X\hat{w}\)

\(E_{\hat{w}}=(y-X\hat{w})^T(y-X\hat{w})\)

\(\hat{w}^*=\arg_{\hat{w}} min(y-X\hat{w})^T(y-X\hat{w})\)

对损失函数求导,

\(\frac{\partial E_{\hat{w}}}{\partial \hat{w}}=\frac{\partial y^Ty}{\partial \hat{w}}-\frac{\partial y^TX\hat{w}}{\partial \hat{w}}-\frac{\partial \hat{w}^TX^Ty}{\partial \hat{w}}+\frac{\partial \hat{w}^TX^TX\hat{w}}{\partial \hat{w}}\)

          \(=0-X^Ty-X^Ty+(X^TX+X^TX)\hat{w}\)

                                ​​​​​​​        ​​​​​​​      \(=2X^T(X\hat{w}-y)\)

\(X^TX\)为满秩矩阵或正定矩阵时,令\(\frac{\partial E_{\hat{w}}}{\partial \hat{w}}\)为零,得到,

\(2X^T(X\hat{w}-y)=0\)

\(2X^TX\hat{w}=2X^Ty\)

\(\hat{w}^*=(X^TX)^{-1}X^Ty\)

故,

\(f(\hat{x_i})=X(X^TX)^{-1}X^Ty\) .

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值

举报

选择你想要举报的内容(必选)
  • 内容涉黄
  • 政治相关
  • 内容抄袭
  • 涉嫌广告
  • 内容侵权
  • 侮辱谩骂
  • 样式问题
  • 其他
点击体验
DeepSeekR1满血版
程序员都在用的中文IT技术交流社区

程序员都在用的中文IT技术交流社区

专业的中文 IT 技术社区,与千万技术人共成长

专业的中文 IT 技术社区,与千万技术人共成长

关注【CSDN】视频号,行业资讯、技术分享精彩不断,直播好礼送不停!

关注【CSDN】视频号,行业资讯、技术分享精彩不断,直播好礼送不停!

客服 返回顶部