林轩田机器学习基石Lecture 9:Linear_Regression

@Lecture 9:Linear_Regression

Linear Regression Problem

回归问题：输出空间为实数空间（连续）

希望观测值和预测值的差值越小越好
Err Measure:

Linear Regression Algorithm

这一节讲如何最小化Ein的问题

1. 先用矩阵形式对Ein进行展开简化
   

2. 求Ein的最小值，即求Ein关于w的梯度为0 的点
   对Ein的公式进行展开，对w求梯度
   展开：
   求梯度：
   
   求梯度为0：分两种情况XTX可逆和不可逆
   

按照上述流程，可总结算法为：

Generalization Issue

本节主要讲dvc在线性回归上面的推广
是机器学习算法，即可以学到一个小的Eout
该算法的物理意义，H的物理意义，把样本观测值y投影到可以用x线性表出的预测值yhat上:
物理意义：

由物理意义得到Ein的平均：

得到Eout的平均:

H是对称的
一点思考：从物理意义投影来看问题的新思路

Linear Regression for Binary Classifification

这节主要讲如何把线性分类用到二分类里面：原因是线性回归问题好解（求逆就可以了）
线性回归和线性分类的异同：

分析回归算法和分类算法的Err,得到分类的Err小于等于回归的Err:
因此，通过VC bound可得：

到这里，我们就可以使用linear regression来做线性二分类问题了