这篇博客深入探讨了一元线性回归的损失函数，通过求偏导数证明其为凸函数，并给出了w和b的最小化表达式。内容覆盖了均方误差作为损失函数、求导过程以及凸函数性质的证明。
这篇博客将主要针对西瓜书3.1和3.2节（一元线性回归）的内容进行补充。主要有如何判断出一元线性回归损失函数是一个凸函数以及如何将w值向量化表示。
对于一元线性回归，假设 f ( x i ) = w x i + b , i = 1 , 2 , 3... f(x_i)=wx_i+b,i=1,2,3... f(xi)=wxi+b,i=1,2,3...，我们的目的就是为了让 f ( x i ) f(x_i) f(xi)尽可能与 y i y_i yi接近。我们需要确定 w , b w,b w,b这两个值，使得损失函数最小(拟合)。这里我们用均方误差 E ( w , b ) E_(w,b) E(w,b)来作为损失函数。
E ( w , b ) = ∑ i = 1 m ( y i − w x i − b ) 2 (1) E_(w,b)=\sum_{i=1}^m(y_i-wx_i-b)^2 \tag{1} E(w,b)=i=1∑m(yi−wxi−b)2(1)
我们可以看到公式（1）是一个二元的函数，所以我们可以对其求偏导判断其是凸函数还是凹函数（这一点西瓜书中没有证明）。
对 w , b w,b w,b分别求一次偏导数，得 φ E ( w , b ) φ w = 2 ( w ∑ i = 1 m x i 2 − ∑ i = 1 m ( y i − b ) x i ) (2) \frac{\varphi E_(w,b)}{\varphi_w}=2\left( w\sum_{i=1}^{m}x_i^2-\sum_{i=1}^{m}(y_i-b)x_i \right) \tag{2} φwφE(w,b)=2(wi=1∑mxi2−i=1∑m(yi−b)xi)(2)
φ E ( w , b ) φ b = 2 ( m b − ∑ i = 1
最低0.47元/天 解锁文章
177
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
