这篇博客将主要针对西瓜书3.1和3.2节(一元线性回归)的内容进行补充。主要有如何判断出一元线性回归损失函数是一个凸函数以及如何将w值向量化表示。
对于一元线性回归,假设 f ( x i ) = w x i + b , i = 1 , 2 , 3... f(x_i)=wx_i+b,i=1,2,3... f(xi)=wxi+b,i=1,2,3...,我们的目的就是为了让 f ( x i ) f(x_i) f(xi)尽可能与 y i y_i yi接近。我们需要确定 w , b w,b w,b这两个值,使得损失函数最小(拟合)。这里我们用均方误差 E ( w , b ) E_(w,b) E(w,b)来作为损失函数。
E ( w , b ) = ∑ i = 1 m ( y i − w x i − b ) 2 (1) E_(w,b)=\sum_{i=1}^m(y_i-wx_i-b)^2 \tag{1} E(w,b)=i=1∑m(yi−wxi−b)2(1)
我们可以看到公式(1)是一个二元的函数,所以我们可以对其求偏导判断其是凸函数还是凹函数(这一点西瓜书中没有证明)。
对 w , b w,b w,b分别求一次偏导数,得 φ E ( w , b ) φ w = 2 ( w ∑ i = 1 m x i 2 − ∑ i = 1 m ( y i − b ) x i ) (2) \frac{\varphi E_(w,b)}{\varphi_w}=2\left( w\sum_{i=1}^{m}x_i^2-\sum_{i=1}^{m}(y_i-b)x_i \right) \tag{2} φwφE(w,b)=2(wi=1∑mxi2−i=1∑m(yi−b)xi)(2)
φ E ( w , b ) φ b = 2 ( m b − ∑ i = 1