机器学习基石-Linear Regression

大纲

Linear Regression Problem

当$y \in R时$，我们就成为机器学习问题为回归问题

1 Linear Regression Hypothesis

$$h(x) = w^Tx$$

2 Illustration of Linear Regression

线性回归问题就是在空间中，寻找一个线或者超平面，满足点到超平面拥有最小的误差

3 The Error Measure

回归问题一般用square Error作为损失函数，所以我们的算法的目的就是如何最小化$E_{in}(w)$

Linear Regression Algorithm

1 Matrix Form of $E_{in}(w)$

$$E_{in}(w) = \frac{1}{N}\Vert{XW-y}\Vert^2$$
我们可以知道 $E_{in}(w)$是一个连续可导的凸函数，所以在 $w$满足$\triangledown E_{in}(w)=0$的时候取得最小值

2 The Gradient $\triangledown E_{in}(w)$

$$\triangledown E_{in}(w)=\frac{2}{N}(X^TXW-X^Ty)$$

Optimal Linear Regression Weights

我们令$\triangledown E_{in}(w)=0$，则有

Conclusion

Linear Regression Issue

如何证明在数据足够大的时候，$\bar{E_{in}} \approx \bar{E_{out}}$呢？

当N足够大时，$\bar{E_{in}}$ 和 $\bar{E_{out}}$都趋向于noise level,所以线性回归问题模型是可以学习的

Linear Regression for Binary Classification

1 Linear Classification VS Linear Regression

我们知道二分类问题的 0/1 损失很难被优化，是一个NP难问题，但是线性回归的的square损失很容易被优化，因为，{-1，+1}也属于R,所以我们很自然的想到能否用square代替0/1损失进行优化，来更好的优化问题。

2 Relation of Two Error

我们可以看到，square损失是0/1损失的上界

这里我们用了一个更宽松的上界来bound住包外误差，优化这个宽松的上界是很简单的，一般来说这个算法可以取得不错的效果，所以我们可以跑一次linear Regression来得到$W$,作为PLA算法的初始$W$,可以加速算法收敛