【西瓜书公式推导】【第3章】一元线性回归

本文详细介绍了《西瓜书》第三章中的一元线性回归的推导过程,包括从最小二乘法导出E(w,b),证明E(w,b)的凸函数性质,以及求解权重w和偏置b的公式。通过一阶和二阶偏导数,最终得出w和b的闭合形式解,并讨论了向量化的原因和过程。" 112482638,10546389,UUD ARIES白羊座蓝牙音箱MX02拆解:透明设计,内置70mm低音炮,"['蓝牙音箱', '音频技术', '硬件拆解', '音响设备', 'TWS']
摘要由CSDN通过智能技术生成

一元线性回归

推导思路

Created with Raphaël 2.2.0 由最小二乘法导出 E(w,b) 证明 E(w,b) 是关于 w 和 b 的凸函数 对 E(w,b) 关于 w 和 b 的求一阶偏导数 令一阶导数等于0解出 w,b

详细推导过程:

由最小二乘法导出 E ( w , b ) E(w,b) E(w,b)

E ( w , b ) = ∑ i = 1 m ( y i − f ( x i ) ) 2 = ∑ i = 1 m ( y i − ( w x i + b ) ) 2 = ∑ i = 1 m ( y i − w x i − b ) 2 \begin{aligned} E_{(w, b)} &=\sum_{i=1}^{m}\left(y_{i}-f\left(x_{i}\right)\right)^{2} \\ &=\sum_{i=1}^{m}\left(y_{i}-\left(w x_{i}+b\right)\right)^{2} \\ &=\sum_{i=1}^{m}\left(y_{i}-w x_{i}-b\right)^{2} \end{aligned} E(w,b)=i=1m(yif(xi))2=i=1m(yi(wxi+b))2=i=1m(yiwxib)2(对应公式3.4)

证明 E ( w , b ) E(w,b) E(w,b) 是关于 w w w b b b 的凸函数

二元函数判断凹凸性:
f ( x , y ) f(x,y) f(x,y) 在区域 D D D 上具有二阶连续偏导数,记 A = f x x ′ ′ ( x , y ) A=f_{x x}^{\prime \prime}(x, y) A=fxx(x,y), B = f x y ′ ′ ( x , y ) B=f_{x y}^{\prime \prime}(x, y) B=fxy(x,y), C = f y y ′ ′ ( x , y ) C=f_{y y}^{\prime \prime}(x, y) C=fyy(x,y) 则:
( 1 ) (1) (1) D D D 上恒有 A > 0 A>0 A>0,且 A C − B 2 ≥ 0 A C-B^{2} \geq 0 ACB20 时, f ( x , y ) f(x,y) f(x,y) 在区域 D D D 上是凸函数;
( 2 ) (2) (2) D D D 上恒有 A &lt; 0 A&lt;0 A<0,且 A C − B 2 ≥ 0 A C-B^{2} \geq 0 ACB20 时, f ( x , y ) f(x,y) f(x,y) 在区域 D D D 上是凹函数。

二元凹凸函数求最值:
f ( x , y ) f(x,y) f(x,y) 在开区域 D D D 内具有连续偏导数的凸(或凹)函数, ( x 0 , y 0 ) ∈ D \left(x_{0}, y_{0}\right) \in D (x0,y0)D f x ′ ( x 0 , y 0 ) = 0 f_{x}^{\prime}\left(x_{0}, y_{0}\right)=0 fx(x0,y0)=0, f y ′ ( x 0 , y 0 ) = 0 f_{y}^{\prime}\left(x_{0}, y_{0}\right)=0 fy(x0,y0)=0 ,则 f ( x 0 , y 0 ) f(x_{0},y_{0}) f(x0,y0) f ( x , y ) f(x,y) f(x,y) D D D 内的最小(或大)值。

  1. A = f x x ′ ′ ( x , y ) A=f_{x x}^{\prime \prime}(x, y) A=fxx(x,y), B = f x y ′ ′ ( x , y ) B=f_{x y}^{\prime \prime}(x, y) B=fxy(x,y) C = f y y ′ ′ ( x , y ) C=f_{y y}^{\prime \prime}(x, y) C=fyy(x,y)
    求一阶偏导数 f x ′ ( x , y ) f_{x}^{\prime}(x, y) fx(x,y)
    ∂ E ( w , b ) ∂ w = ∂ ∂ w [ ∑ i = 1 m ( y i − w x i − b ) 2 ] = ∑ i = 1 m ∂ ∂ w ( y i − w x i − b ) 2 = ∑ i = 1 m 2 ⋅ ( y i − w x i − b ) ⋅ ( − x i ) = 2 ( w ∑ i = 1 m x i 2 − ∑ i = 1 m ( y i − b ) x i ) \begin{aligned} \frac{\partial E_{(w, b)}}{\partial w} &amp;=\frac{\partial}{\partial w}\left[ \sum_{i=1}^{m} \left(y_{i}-w x_{i}-b\right)^{2}\right] \\ &amp;=\sum_{i=1}^{m} \frac{\partial}{\partial w}\left(y_{i}-w x_{i}-b\right)^{2} \\ &amp;=\sum_{i=1}^{m} 2 \cdot\left(y_{i}-w x_{i}-b\right) \cdot\left(-x_{i}\right) \\ &amp;=2\left(w \sum_{i=1}^{m} x_{i}^{2}-\sum_{i=1}^{m}\left(y_{i}-b\right) x_{i}\right) \end{aligned} wE(w,b)=w[i=1m(yiwxib)2]=i=1mw(yiwxib)2=i=1m2(yiwxib)(xi)=2(wi=1mxi2i=1m(yib)xi)(对应公式3.5)
    求二阶偏导数 A = f x x ′ ′ ( x , y ) A=f_{x x}^{\prime \prime}(x, y) A=fxx(x,y)
    ∂ 2 E ( w , b ) ∂ w 2 = ∂ ∂ w ( ∂ E ( w , b ) ∂ w ) = ∂ ∂ w [ 2 ( w ∑ i = 1 m x i 2 − ∑ i = 1 m ( y i − b ) x i ) ] = ∂ ∂ w [ 2 w ∑ i = 1 m x i 2 ] = 2 ∑ i = 1 m x i 2 \begin{aligned} \frac{\partial^{2} E_{(w, b)}}{\partial w^{2}} &amp;=\frac{\partial}{\partial w}\left(\frac{\partial E_{(w, b)}}{\partial w}\right) \\ &amp;=\frac{\partial}{\partial w}\left[2\left(w \sum_{i=1}^{m} x_{i}^{2}-\sum_{i=1}^{m}\left(y_{i}-b\right) x_{i}\right)\right] \\ &amp;=\frac{\partial}{\partial w}\left[2 w \sum_{i=1}^{m} x_{i}^{2}\right] \\ &amp;=2 \sum_{i=1}^{m} x_{i}^{2} \quad \end{aligned} w22E(w,b)=w(wE(w,b))=w[2(wi=1mxi2i=1m(yib)xi)]=w[2wi=1mxi2]=2i=1mxi2
    求二阶偏导数 B = f x y ′ ′ ( x , y ) B=f_{x y}^{\prime \prime}(x, y) B=fxy(x,y)
    ∂ 2 E ( w , b ) ∂ w ∂ b = ∂ ∂ b ( ∂ E ( w , b ) ∂ w ) = ∂ ∂ b [ 2 ( w ∑ i = 1 m x i 2 − ∑ i = 1 m ( y i − b ) x i ) ] = ∂ ∂ b [ − 2 ∑ i = 1 m ( y i − b ) x i ] = ∂ ∂ b ( − 2 ∑ i = 1 m y i x i + 2 ∑ i = 1 m b x i )
  • 0
    点赞
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值