机器学习 线性模型

1. 基本形式

• 线性模型：试图学得一个通过属性的线性组合来进行预测的函数，即

   

  

  3.1

   

  用向量形式写成：

   

  

  3.2

2.线性回归

对于给定数据集D={(x1,y1),(x2,y2),(x3,y3),.....,(xm,ym)},其中 x1=(x1;x2;...;xd),yi ∈ R,"线性回归"试图学得一个线性模型以尽可能准确的预测实值输出标记。
我们先考虑一种最简单的情形：输入属性数目只有一个即

 

image.png

 

线性回归试图学得：

 

image.png

如何确定w和b呢？显然，关键在于如何衡量f(x)与y之间的差别，之前介绍过，均方误差是回归任务常用的性能度量,因此我们试图让均方误差最小化，即

image.png

 

image.png

 

image.png

 

image.png