台湾国立大学机器学习基石.听课笔记（第九讲）：Linear Regression

台湾国立大学机器学习基石.听课笔记（第九讲）：

Linear Regression（线性回归）

1、线性回归问题

例如，信用卡额度预测问题：特征是用户的信息（年龄，性别，年薪，当前债务，...），我们要预测可以给该客户多大的信用额度。 这样的问题就是回归问题。
目标值y 是实数空间R。

线性回归假设的思想是：寻找这样的直线/平面/超平面，使得输入数据的残差最小。
通常采用的error measure 是squared error:

2、线性回归算法

squared error 的矩阵表示：

Ein 是连续、可微的、凸函数，可以通过偏微分求极值的方法来求参数向量w。由于是凸函数，所以其最小值就是其极小值。

求得Ein(w) 的偏微分：

上面分两种情况来求解w。当(X^T)*X(X 的转置乘以X) 可逆时，可以通过矩阵运算直接求得w；不可逆时，直观来看情况就没这么简单。

实际上，无论哪种情况，我们都可以很容易得到结果。因为许多现成的机器学习/数学库帮我们处理好了这个问题，只要我们直接调用相应的计算函数即可。有些库中把这种广义求逆矩阵运算成为 pseudo-inverse。

到此，我们可以总结线性回归算法的步骤（非常简单清晰）：

3、线性回归是一个“学习算法” 吗？

我们在这通过数学来证明：

最后得到：

4、线性回归与线性分类器

比较一下线性分类与线性回归：

之所以能够通过线程回归的方法来进行二值分类，是由于回归的squared error 是分类的0/1 error 的上界，我们通过优化squared error，一定程度上也能得到不错的分类结果；或者，更好的选择是，将回归方法得到的w 作为二值分类模型的初始w 值。

线性回归与线性分类有相同之处， 我们以后求解线性分类时，可以先求线性回归，看看它的结果。最后，再用线性分类进行进一步求解相关问题。

这样，我们就基本搞定了线性回归。#