机器学习之线性回归之推导

最新推荐文章于 2022-07-21 11:23:01 发布

山水之间hjf

最新推荐文章于 2022-07-21 11:23:01 发布

阅读量115

点赞数

分类专栏：机器学习文章标签：机器学习

本文链接：https://blog.csdn.net/weixin_43849765/article/details/108298054

版权

机器学习专栏收录该内容

5 篇文章 0 订阅

订阅专栏

机器学习之线性回归之推导

假设数据集 $D=\lbrace (x_1, y_1),(x_2,y_2),\cdots,(x_i,y_i),\cdots,(x_N, y_N)\rbrace$ ，其中 $x_i\epsilon \mathbb{R}^p,y_i \epsilon\mathbb{R},i=1,2,\cdots,N$

$X=\begin{pmatrix}x_1 & x_2&\cdots&x_N \end{pmatrix}^T=\begin{pmatrix} x_1^T \\ x_2^T \\ \vdots \\ x_N^T\end{pmatrix}=\begin{pmatrix}x_{11} &x_{12}&\cdots&x_{1p} \\ x_{21} &x_{22}&\cdots&x _{2p} \\ \vdots & \vdots & \vdots & \vdots \\ x_{N1} &x_{N2}&\cdots&x_{Np} \end{pmatrix}_{N\times p}$

$\begin{pmatrix} w_1&w_2 & \cdots & w_p\end{pmatrix}^T$

$Y={\begin{pmatrix} y_1&y_2&\cdots&y_n\end{pmatrix}}^T$

最小二乘估计
$\begin{aligned} L(w)&=\sum\limits_{i=1}^N||w^Tx_i-y_i||^2\\ &= \sum\limits_{i=1}^N \begin{pmatrix} w^Tx_i-y_i\end{pmatrix}^2 \\ &={\begin{pmatrix} w^Tx_1-y_1&w^Tx_2-y_2 &\cdots&w^Tx_N-y_N\end{pmatrix}} {\begin{pmatrix} w^Tx_1-y_1 \\ w^Tx_2-y_2 \\ \vdots \\ w^Tx_N-y_N\end{pmatrix}} \\ &={\begin{pmatrix}w^T{\begin{pmatrix}x_1&x_2&\cdots&x_N \end{pmatrix} - {\begin{pmatrix} y_1&y_2&\cdots&y_N\end{pmatrix}}} \end{pmatrix}} {\begin{pmatrix}w^T{\begin{pmatrix}x_1&x_2&\cdots&x_N \end{pmatrix} - {\begin{pmatrix} y_1&y_2&\cdots&y_N\end{pmatrix}}} \end{pmatrix}}^T\\ &={\begin{pmatrix}w^TX^T-Y^T\end{pmatrix}}{\begin{pmatrix}Xw-Y\end{pmatrix}} \\ &=w^TX^TXw -w^TX^TY-Y^TXw+Y^TY \\ &=w^TX^TXw-2w^TX^TY+Y^TY \end{aligned}$
对 $L (w)$ 求导
$\begin{aligned} \frac{\partial{L(w)}}{\partial{w}}&=2X^TXw-2X^TY \\ &=2(X^TXw-X^TY) \end{aligned}$
令导数为0
$2(X^TXw-X^TY) = 0$
解得 $w$ ：
$w = (X^TX)^{-1}X^TY$

山水之间hjf

关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
机器学习之线性回归之推导

机器学习之线性回归之推导假设数据集D={(x1,y1),(x2,y2),⋯ ,(xi,yi),⋯ ,(xN,yN)}D=\lbrace (x_1, y_1),(x_2,y_2),\cdots,(x_i,y_i),\cdots,(x_N, y_N)\rbraceD={(x1,y1),(x2,y2),⋯,(xi,yi),⋯,(xN,yN)}，其中xiϵRp,yiϵR,i=1,2,⋯ ,Nx_i\epsilon \mathbb{R}^p,y_i \epsilon\mathbb{R},i=1,2,
复制链接

扫一扫

专栏目录