【西瓜书公式推导】【第3章】一元线性回归

一元线性回归

推导思路

详细推导过程：

由最小二乘法导出 $E(w,b)$

$$\begin{array}{rl}{E}_{(w,b)}& =\sum _{i=1}^m{\left(y_i-f\left(x_i\right)\right)}^2\\ & =\sum _{i=1}^m{\left(y_i-\left(w{x}_i+b\right)\right)}^2\\ & =\sum _{i=1}^m{\left(y_i-w{x}_i-b\right)}^2\end{array}$$（对应公式3.4）

证明 $E(w,b)$ 是关于 $w$ 和 $b$ 的凸函数

二元函数判断凹凸性：
设 $f(x,y)$ 在区域 $D$ 上具有二阶连续偏导数，记 $A=f_{xx}^{\prime \prime }(x,y)$, $B=f_{xy}^{\prime \prime }(x,y)$,$C=f_{yy}^{\prime \prime }(x,y)$ 则：
$(1)$ 在 $D$ 上恒有 $A>0$，且 $AC-B^2\ge 0$ 时， $f(x,y)$ 在区域 $D$ 上是凸函数；
$(2)$ 在 $D$ 上恒有 $A<0$，且 $AC-B^2\ge 0$ 时， $f(x,y)$ 在区域 $D$ 上是凹函数。

二元凹凸函数求最值：
设 $f(x,y)$ 在开区域 $D$ 内具有连续偏导数的凸（或凹）函数，$\left(x_0,y_0\right)\in D$ 且 $f_x^{\prime }\left(x_0,y_0\right)=0$, $f_y^{\prime }\left(x_0,y_0\right)=0$ ，则 $f(x_0,y_0)$ 为 $f(x,y)$ 在 $D$ 内的最小（或大）值。

1. 求 $A=f_{xx}^{\prime \prime }(x,y)$, $B=f_{xy}^{\prime \prime }(x,y)$ 和 $C=f_{yy}^{\prime \prime }(x,y)$
   求一阶偏导数 $f_x^{\prime }(x,y)$
   $$\begin{array}{rl}\frac{\partial E_{(w,b)}}{\partial w}& =\frac{\partial }{\partial w}\left[\sum _{i=1}^m{\left(y_i-w{x}_i-b\right)}^2\right]\\ & =\sum _{i=1}^m\frac{\partial }{\partial w}{\left(y_i-w{x}_i-b\right)}^2\\ & =\sum _{i=1}^{m}2\cdot \left(y_i-w{x}_i-b\right)\cdot \left(-x_i\right)\\ & =2\left(w\sum _{i=1}^m{x}_i^2-\sum _{i=1}^m\left(y_i-b\right)x_i\right)\end{array}$$（对应公式3.5）
   求二阶偏导数 $A=f_{xx}^{\prime \prime }(x,y)$
   $$\begin{array}{rl}\frac{{\partial }^2{E}_{(w,b)}}{\partial w^2}& =\frac{\partial }{\partial w}\left(\frac{\partial E_{(w,b)}}{\partial w}\right)\\ & =\frac{\partial }{\partial w}\left[2\left(w\sum _{i=1}^m{x}_i^2-\sum _{i=1}^m\left(y_i-b\right)x_i\right)\right]\\ & =\frac{\partial }{\partial w}\left[2w\sum _{i=1}^m{x}_i^2\right]\\ & =2\sum _{i=1}^m{x}_i^2\end{array}$$
   求二阶偏导数 $B=f_{xy}^{\prime \prime }(x,y)$
   ∂ 2 E ( w , b ) ∂ w ∂ b = ∂ ∂ b ( ∂ E ( w , b ) ∂ w ) = ∂ ∂ b [ 2 ( w ∑ i = 1 m x i 2 − ∑ i = 1 m ( y i − b ) x i ) ] = ∂ ∂ b [ − 2 ∑ i = 1 m ( y i − b ) x i ] = ∂ ∂ b ( − 2 ∑ i = 1 m y i x i + 2 ∑ i = 1 m b x i )