Lecture 9: Linear Regression

Lecture 9: Linear Regression

【参考】https://redstonewill.com/232/

【概括】
介绍了Linear Regression。

1. 从问题出发，想要找到一条直线拟合实际数据值；
2. 利用最小二乘法，用解析形式推导了权重w的closed-form解；
3. 用图形的形式证明了linear regression是可以进行机器学习的；
4. 证明linear regressin这种方法可以用在binary classification上，虽然上界变宽松了，但是仍然能得到不错的学习方法。
   

9.1 线性回归问题

引入信用卡的例子，来解决给用户发放信用卡额度的问题，这就是一个线性回归（Linear Regression）问题

加权和

在一维或者多维空间里，线性回归的目标是找到一条直线（对应一维）、一个平面（对应二维）或者更高维的超平面，使样本集中的点更接近它，也就是残留误差Residuals最小化。

一般最常用的错误测量方式是基于最小二乘法，其目标是计算误差的最小平方和对应的权重w，即squared error：

9.2 线性回归算法

、




quiz：正确答案为3

9.3 泛化问题
有这样一个疑问，就是这种求解权重向量的方法是机器学习吗？或者说这种方法满足我们之前推导VC Bound，有较强泛化能力。
泛化能力证明详见课件。
证明结果：

证明了当N足够大的时候，这种线性最小二乘法是可以进行机器学习的，算法有效。

9.4 Linear Regression方法解决Linear Classification问题

讨论Linear Regression的squared error是否能够应用到Linear Classification问题