机器学习基础(林軒田)笔记之九

Linear Regression

回顾

上节课我们讲述了在二元分类的基础上得出的VC Bound既可以用在各种不同错误衡量机制也可以用在有noise的情形。

Linear Regression Problem

我们重新回到银行的例子，银行到底应该给顾客多少信用额度。当然，这也可以用之前的Learning Flow来表示，但是目标函数是一个输出实数的公式。

线性回归的假设集：

目标：得到的实数与期望值越接近越好。

线性回归的例子：

上图中的红色部分为误差或者余数，此部分越小越好。

线性回归的误差分析：

下一节介绍如何求曲Ein的最小化。

Linear Regression Algorithm

本节课介如何最小化Ein。

Ein的矩阵形式：

进一步：

下一步，梯度计算：

进一步，梯度为0：

总结：

Generalization Issue

线性回归算不算机器学习算法：

讨论如何保证Eout是好的，通过Ein

Hat矩阵：