（西瓜书）简单线性回归公式推导

最新推荐文章于 2022-09-26 18:50:03 发布

想去的远方

最新推荐文章于 2022-09-26 18:50:03 发布

阅读量1.6k

点赞数 6

分类专栏：机器学习文章标签：简单线性回归公式推导西瓜书机器学习最小二乘法

本文链接：https://blog.csdn.net/qq_42185999/article/details/102941535

版权

机器学习专栏收录该内容

8 篇文章 0 订阅

订阅专栏

一、线性回归概述：

二、数学知识储备：

三、证明损失函数是关于 w 和 b 的凸函数：

四、求解 b :

五、求解 w :

一、线性回归概述：

给定数据集 $D=\left \{ \left ( x_{1} , y_{1}\right ) , \left ( x_{2}, y_{2} \right ) , .... , \left ( x_{m}, y_{m} \right ) \right \}$ ，其中 $x_{i}=\left ( x_{i1},x_{i2}, ... ,x_{id} \right )$ ， $y_{i}\in R$ ，线性回归试图学得： $f\left ( x_{i} \right ) = w*x_{i} + b$ ，使得 $f \left ( x_{i} \right ) \simeq y_{i}$ .

回归任务中常使用均方误差来衡量 f(x) 与 y 之间的差别。使均方误差最小化得到的 w, b 即我们所求。（基于均方误差来进行模型求解的方法称为 “最小二乘法”）。

因此，由最小二乘法导出损失函数 $E(w,b)$

$E(w,b)$ = $\sum_{i=1}^{m} \left ( y_{i} -f\left ( x_{i} \right )\right )^{2}$

= $\sum_{i=1}^{m} \left ( y_{i} -\left ( w*x_{i}+b \right )\right )^{2}$

= $\sum_{i=1}^{m} \left ( y_{i} - w*x_{i}-b \right )^{2}$ （此即为西瓜书式 3.4 后面部分）

下面，我们先考虑一种最简单的情形：输入属性的数目只有一个。下面的推导均基于这种情形展开。

二、数学知识储备：

二元函数判断凹凸性：

设 $f\left ( x,y \right )$ 在区域 D 上具有二阶连续偏导数，记 $A=f_{xx}^{''}\left ( x,y \right )$ , $B=f_{xy}^{''}\left ( x,y \right )$ , $C=f_{yy}^{''}\left ( x,y \right )$ , 则：

在 D 上恒有 $A>0$ , 且 $A*C - B^{2} \geq 0$ 时， $f\left ( x,y \right )$ 在区域 D 上是凸函数。
在 D 上恒有 $A< 0$ , 且 $A*C - B^{2} \geq 0$ 时， $f\left ( x,y \right )$ 在区域 D 上是凹函数。

二元凹凸函数求最值：

设 $f\left ( x,y \right )$ 是在开区域 D 内具有连续偏导数的凸函数（或凹函数）， $\left ( x_{0},y _{0} \right )\in D$ 且 $f_{x}^{'}\left ( x_{0}, y_{0}\right )=0$ , $f_{y}^{'}\left ( x_{0}, y_{0}\right )=0$ . 则 $f\left ( x_{0}, y_{0}\right )$ 必为 $f\left ( x, y\right )$ 在 D 内的最小值（或最大值）

三、证明损失函数 $E(w,b)$ 是关于 w 和 b 的凸函数：

（1）求 $A=f_{xx}^{''}\left ( x,y \right )$ ：

$\frac{\partial E\left ( w,b \right )}{\partial w}$ = $\frac{\partial }{\partial w}\left [ \sum_{i=1}^{m} \left (y _{i}-w*x_{i}-b \right )^{2} \right ]$

= $\sum_{i=1}^{m} \frac{\partial }{\partial w}\left (y _{i}-w*x_{i}-b \right )^{2}$

= $\sum_{i=1}^{m} 2*\left (y _{i}-w*x_{i}-b \right )(-x_{i})$

= $2*\left ( w*\sum_{i=1}^{m} x_{i}^{2} - \sum_{i=1}^{m}\left (y _{i}-b) \right *x_{i} \right )$ （此即为西瓜书式 3.5）

$\frac{ \partial ^{2} E \left ( w,b \right ) }{ \partial w^{2}}$ = $\frac{\partial }{\partial w} \left (\frac{\partial E\left ( w,b \right )}{\partial w} \right )$

= $\frac{\partial }{\partial w}$ $\left [ 2*\left ( w*\sum_{i=1}^{m} x_{i}^{2} - \sum_{i=1}^{m}\left (y _{i}-b) \right *x_{i} \right ) \right ]$

= $\frac{\partial }{\partial w} \left [ 2* w*\sum_{i=1}^{m} x_{i}^{2} \right ]$

= $2*\sum_{i=1}^{m} x_{i}^{2}$

此即为 $A=f_{xx}^{''}\left ( x,y \right )$ ，所以在 D 上恒有 $A>0$

（2）求 $B=f_{xy}^{''}\left ( x,y \right )$ ：

$\frac{ \partial ^{2} E \left ( w,b \right ) }{ \partial w \partial b }$ = $\frac{\partial }{\partial b} \left (\frac{\partial E\left ( w,b \right )}{\partial w} \right )$

= $\frac{\partial }{\partial b}$ $\left [ 2*\left ( w*\sum_{i=1}^{m} x_{i}^{2} - \sum_{i=1}^{m}\left (y _{i}-b) \right *x_{i} \right ) \right ]$

= $\frac{\partial }{\partial b}$ $\left [ -2* \sum_{i=1}^{m} \left (y _{i}-b) \right *x_{i} \right ]$

= $\frac{\partial }{\partial b}$ $\left ( -2* \sum_{i=1}^{m} y _{i}*x_{i} + 2* \sum_{i=1}^{m} b*x_{i} \right )$

= $\frac{\partial }{\partial b}$ $\left ( 2* \sum_{i=1}^{m} b*x_{i} \right )$

= $2*\sum_{i=1}^{m} x_{i}$

此即为 $B=f_{xy}^{''}\left ( x,y \right )$ .

（3）求 $C=f_{yy}^{''}\left ( x,y \right )$ ：

$\frac{\partial E\left ( w,b \right )}{\partial b}$ = $\frac{\partial }{\partial b}\left [ \sum_{i=1}^{m} \left (y _{i}-w*x_{i}-b \right )^{2} \right ]$

= $\sum_{i=1}^{m} \frac{\partial }{\partial b}\left (y _{i}-w*x_{i}-b \right )^{2}$

= $\sum_{i=1}^{m} 2*\left (y _{i}-w*x_{i}-b \right )(-1)$

= $2*\left ( m*b - \sum_{i=1}^{m} \left ( y _{i}-w *x_{i} ) \right \right )$ （此即为西瓜书式 3.6）

$\frac{ \partial ^{2} E \left ( w,b \right ) }{ \partial b^{2}}$ = $\frac{\partial }{\partial b} \left (\frac{\partial E\left ( w,b \right )}{\partial b} \right )$

= $\frac{\partial }{\partial b}$ $\left [ 2*\left ( m*b - \sum_{i=1}^{m} \left ( y _{i}-w *x_{i} ) \right \right ) \right ]$

= $\frac{\partial }{\partial b} \left ( 2*m*b \right )$

= $2*m$

此即为 $C=f_{yy}^{''}\left ( x,y \right )$ .

（4）判断 $A*C-B^{2}$ 的符号

至此，我们求得 : $A = 2*\sum_{i=1}^{m} x_{i}^{2}$ , $B = 2*\sum_{i=1}^{m} x_{i}$ , $C = 2*m$

$A*C-B^{2}$ = $\left ( 2*\sum_{i=1}^{m} x_{i}^{2} \right ) * \left ( 2*m\right )-\left ( 2*\sum_{i=1}^{m} x_{i} \right )^{2}$

= $4*m*\sum_{i=1}^{m} x_{i}^{2}-4*\left ( \sum_{i=1}^{m} x_{i}\right )^{2}$

= $4*m*\sum_{i=1}^{m} x_{i}^{2}-4*m*\frac{1}{m}*\left ( \sum_{i=1}^{m} x_{i}\right )^{2}$

= $4*m*\sum_{i=1}^{m} x_{i}^{2}-4*m*\bar{x} * \sum_{i=1}^{m} x_{i}$

= $4*m*\left ( \sum_{i=1}^{m} x_{i}^{2} - \sum_{i=1}^{m} x_{i}*\bar{x} \right )$

= $4*m* \sum_{i=1}^{m}\left ( x_{i}^{2} - x_{i}*\bar{x} \right )$

这里我们的目的是要证得 $A*C-B^{2}$ 是否大于等于 0 ，所以我们下面要对上面的式子进行变形，以便判断符号。

因为： $\sum_{i=1}^{m} x_{i}*\bar{x}$ = $\bar{x}*\sum_{i=1}^{m} x_{i}$ = $\bar{x}*m*\frac{1}{m} * \sum_{i=1}^{m} x_{i}$ = $m*\bar{x}^{2}$ = $\sum_{i=1}^{m} \bar{x}^{2}$

所以： $4*m* \sum_{i=1}^{m}\left ( x_{i}^{2} - x_{i}*\bar{x} \right )$ = $4*m* \sum_{i=1}^{m}\left ( x_{i}^{2} - x_{i}*\bar{x} - x_{i}*\bar{x}+{\color{Red} x_{i}*\bar{x}} \right )$

= $4*m* \sum_{i=1}^{m}\left ( x_{i}^{2} - x_{i}*\bar{x} - x_{i}*\bar{x}+{\color{Red} \bar{x} ^{2}}\right )$

= $4*m* \sum_{i=1}^{m}\left ( x_{i} -\bar{x}\right )^{2}$

所以 $A*C-B^{2}$ = $4*m* \sum_{i=1}^{m}\left ( x_{i} -\bar{x}\right )^{2}$ >= 0 , 也即损失函数 $E(w,b)$ 是关于 w 和 b 的凸函数得证。

四、求解 b :

令一阶偏导数等于 0 解出 b ：

$\frac{\partial E\left ( w,b \right )}{\partial b}$ = $2*\left ( m*b - \sum_{i=1}^{m} \left ( y _{i}-w *x_{i} ) \right \right )$ = 0

$m*b - \sum_{i=1}^{m} \left ( y _{i}-w *x_{i} ) \right$ = 0

b = $\frac{1}{m}$ $* \sum_{i=1}^{m} \left ( y _{i}-w *x_{i} ) \right$ （此即为西瓜书式 3.8）

五、求解 w :

令一阶偏导数等于 0 解出 w ：

$\frac{\partial E\left ( w,b \right )}{\partial w}$ = $2*\left ( w*\sum_{i=1}^{m} x_{i}^{2} - \sum_{i=1}^{m}\left (y _{i}-b) \right *x_{i} \right )$ = 0

$w*\sum_{i=1}^{m} x_{i}^{2}$ = $\sum_{i=1}^{m}\ y _{i} *x_{i} -\sum_{i=1}^{m}\ b*x_{i}$

将 b = $\frac{1}{m}$ $* \sum_{i=1}^{m} \left ( y _{i}-w *x_{i} ) \right$ = $\frac{1}{m}$ $* \sum_{i=1}^{m} y _{i}$ $- w* \frac{1}{m}* \sum_{i=1}^{m} x_{i}$

= $\bar{y}-w*\bar{x}$ ，带入上式得：

$w*\sum_{i=1}^{m} x_{i}^{2}$ = $\sum_{i=1}^{m}\ y _{i} *x_{i} -\sum_{i=1}^{m}\ {\color{Red} b}*x_{i}$

$w*\sum_{i=1}^{m} x_{i}^{2}$ = $\sum_{i=1}^{m}\ y _{i} *x_{i} -\sum_{i=1}^{m}\ {\color{Red} \left ( \bar{y}-w*\bar{x} \right )} *x_{i}$

$w*\sum_{i=1}^{m} x_{i}^{2}$ = $\sum_{i=1}^{m} y _{i} *x_{i} - \bar{y}* \sum_{i=1}^{m}x_{i} + w* \bar{x} * \sum_{i=1}^{m} x_{i}$

$w*\sum_{i=1}^{m} x_{i}^{2}- w* \bar{x} * \sum_{i=1}^{m} x_{i}$ = $\sum_{i=1}^{m} y _{i} *x_{i} - \bar{y}* \sum_{i=1}^{m}x_{i}$

$w*\left ( \sum_{i=1}^{m} x_{i}^{2}- \bar{x} * \sum_{i=1}^{m} x_{i} \right )$ = $\sum_{i=1}^{m} y _{i} *x_{i} - \bar{y}* \sum_{i=1}^{m}x_{i}$

w = $\frac{\sum_{i=1}^{m} y _{i} *x_{i} - \bar{y}* \sum_{i=1}^{m}x_{i}}{\sum_{i=1}^{m} x_{i}^{2}- \bar{x} * \sum_{i=1}^{m} x_{i}}$

（因为有： $\bar{y}* \sum_{i=1}^{m}x_{i} = \frac{1}{m} * \sum_{i=1}^{m} y_{i} \sum_{i=1}^{m}x_{i} = \bar{x} * \sum_{i=1}^{m}y_{i}$ ， $\bar{x}* \sum_{i=1}^{m}x_{i} = \frac{1}{m} * \sum_{i=1}^{m} x_{i} \sum_{i=1}^{m}x_{i} = \frac{1}{m} * \left ( \sum_{i=1}^{m}x_{i} \right ) ^{2}$ ）

所以： w = $\frac{\sum_{i=1}^{m} y _{i} *x_{i} - \bar{x} * \sum_{i=1}^{m}y_{i} }{\sum_{i=1}^{m} x_{i}^{2}- \frac{1}{m} * \left ( \sum_{i=1}^{m}x_{i} \right ) ^{2} }$ = $\frac{ \sum_{i=1}^{m} y _{i} * \left ( x_{i} - \bar{x} \right ) }{\sum_{i=1}^{m} x_{i}^{2}- \frac{1}{m} * \left ( \sum_{i=1}^{m}x_{i} \right ) ^{2} }$ （此即为西瓜书式 3.7）

（西瓜书）多元线性回归公式推导请移步： https://blog.csdn.net/qq_42185999/article/details/102942166 .

想去的远方

关注

6
点赞
踩
7

收藏

觉得还不错? 一键收藏
1
评论
（西瓜书）简单线性回归公式推导

目录一、线性回归概述：二、数学知识储备：三、证明损失函数是关于 w 和 b 的凸函数：四、求解 b :五、求解 w:一、线性回归概述：给定数据集，其中，，线性回归试图学得：，使得 .回归任务中常使用均方误差来衡量 f(x) 与 y 之间的差别。使均方误差最小化得到的 w, b 即我们所求。（基于均方误差来进行模型...
复制链接

扫一扫