大纲
Linear Regression Problem
当 y∈R时 ,我们就成为机器学习问题为回归问题
1 Linear Regression Hypothesis
h(x)=wTx
2 Illustration of Linear Regression
线性回归问题就是在空间中,寻找一个线或者超平面,满足点到超平面拥有最小的误差
3 The Error Measure
回归问题一般用square Error作为损失函数,所以我们的算法的目的就是如何最小化
Ein(w)
Linear Regression Algorithm
1 Matrix Form of Ein(w)
Ein(w)=1N∥XW−y∥2
我们可以知道 Ein(w) 是一个连续可导的凸函数,所以在 w 满足
2 The Gradient ▿Ein(w)
▿Ein(w)=2N(XTXW−XTy)
Optimal Linear Regression Weights
我们令 ▿Ein(w)=0 ,则有
Conclusion
Linear Regression Issue
如何证明在数据足够大的时候, Ein¯≈Eout¯ 呢?
当N足够大时, Ein¯ 和 Eout¯ 都趋向于noise level,所以线性回归问题模型是可以学习的
Linear Regression for Binary Classification
1 Linear Classification VS Linear Regression
我们知道二分类问题的 0/1 损失很难被优化,是一个NP难问题,但是线性回归的的square损失很容易被优化,因为,{-1,+1}也属于R,所以我们很自然的想到能否用square代替0/1损失进行优化,来更好的优化问题。
2 Relation of Two Error
我们可以看到,square损失是0/1损失的上界
这里我们用了一个更宽松的上界来bound住包外误差,优化这个宽松的上界是很简单的,一般来说这个算法可以取得不错的效果,所以我们可以跑一次linear Regression来得到
W
,作为PLA算法的初始