Lecture 9: Linear Regression
【参考】https://redstonewill.com/232/
【概括】
介绍了Linear Regression。
- 从问题出发,想要找到一条直线拟合实际数据值;
- 利用最小二乘法,用解析形式推导了权重w的closed-form解;
- 用图形的形式证明了linear regression是可以进行机器学习的;
- 证明linear regressin这种方法可以用在binary classification上,虽然上界变宽松了,但是仍然能得到不错的学习方法。
9.1 线性回归问题
引入信用卡的例子,来解决给用户发放信用卡额度的问题,这就是一个线性回归(Linear Regression)问题
加权和
在一维或者多维空间里,线性回归的目标是找到一条直线(对应一维)、一个平面(对应二维)或者更高维的超平面,使样本集中的点更接近它,也就是残留误差Residuals最小化。
一般最常用的错误测量方式是基于最小二乘法,其目标是计算误差的最小平方和对应的权重w,即squared error:
9.2 线性回归算法
、
quiz:正确答案为3
9.3 泛化问题
有这样一个疑问,就是这种求解权重向量的方法是机器学习吗?或者说这种方法满足我们之前推导VC Bound,有较强泛化能力。
泛化能力证明详见课件。
证明结果:
证明了当N足够大的时候,这种线性最小二乘法是可以进行机器学习的,算法有效。
9.4 Linear Regression方法解决Linear Classification问题
讨论Linear Regression的squared error是否能够应用到Linear Classification问题