《机器学习》——第三章 线性模型
一、基本形式
给定由 d d d个属性描述的示例中, x = ( x 1 ; x 2 ; ⋯ ; x d ) x=\left( x_1;x_2;\cdots ;x_d \right) x=(x1;x2;⋯;xd),其中 x i x_i xi是 x x x在第 i i i个属性上的取值,线性模型表示为
f ( x ) = w 1 x 1 + w 2 x 2 + . . . + w d x d + b f(x)=w_1x_1+w_2x_2+...+w_dx_d+b f(x)=w1x1+w2x2+...+wdxd+b一般情况下用向量的形式,则表示成 f ( x ) = w T x + b f\left( x \right) =w^Tx+b f(x)=wTx+b只要能够确定出 w w w和 b b b的值就可以确定这个线性模型了
二、线性回归
问:线性回归是什么?
答:线性回归是通过学习一个线性模型,来预测出其对应的连续值,通过对预测值和真实值之间,尽可能缩小其欧氏距离,即使得 f ( x i ) ≈ y i f\left( x_i \right) \approx y_i f(xi)≈yi
2.1 最小二乘法
使用均方误差最小化来进行模型求解的,形如
E ( w , b ) = ∑ i = 1 m ( y i − f ( x i ) ) 2 = ∑ i = 1 m ( y i − w x i − b ) 2 E_{\left( w,b \right)}=\sum_{i=1}^m{\left( y_i-f\left( x_i \right) \right) ^2}\\\,\,=\sum_{i=1}^m{\left( y_i-wx_i-b \right) ^2} E(w,b)=i=1∑m(yi−f(xi))2=i=1∑m(yi−wxi−b)2
2.2 极大似然估计
假设线性回归模型如下所示,
y = w x + b + ϵ y=w x+b+\epsilon y=wx+b+ϵ
其中 ϵ \epsilon ϵ符合 p ( ϵ ) = 1 2 π σ exp ( − ϵ 2 2 σ 2 ) p(\epsilon)=\frac{1}{\sqrt{2 \pi} \sigma} \exp \left(-\frac{\epsilon^{2}}{2 \sigma^{2}}\right) p(ϵ)=2πσ1exp(−2σ2ϵ2)
然后将 ϵ \epsilon ϵ用 y − ( w x + b ) y-(wx+b) y−(wx+b)进行代替后,得到的式子为
p ( y ) = 1 2 π σ exp ( − ( y − ( w x + b ) ) 2 2 σ 2 ) p(y)=\frac{1}{\sqrt{2 \pi} \sigma} \exp \left(-\frac{(y-(w x+b))^{2}}{2 \sigma^{2}}\right) p(y)=2πσ1exp(−2σ2(y−(wx+b))2)
代入极大似然估计后,得到如下所示,
L ( w , b ) = ∏ i = 1 m p ( y i ) = ∏ i = 1 m 1 2 π σ exp ( − ( y i − ( w x i + b ) ) 2 2 σ 2 ) L(w, b)=\prod_{i=1}^{m} p\left(y_{i}\right)=\prod_{i=1}^{m} \frac{1}{\sqrt{2 \pi} \sigma} \exp \left(-\frac{\left(y_{i}-\left(w x_{i}+b\right)\right)^{2}}{2 \sigma^{2}}\right) L(w,b)=i=1∏mp(yi)=i=1∏m