【监督学习】第二课（机器学习，核函数，正则）

这里是监督学习第二课！

参考书目，chapter 2 and 3 of kernel methods for Pattern analysis

Overview 概述

我们会展示线性方法是如何被拉到一个更高的维度空间，然后提供非线性回归。

特征映射就是一个把输入映射到新空间的映射

这样我们就可以让这个方法相对于原输入非线性，对于映射后的特征线性。

直接的特征映射也叫 基底函数方法

隐性的特征映射也叫核映射。

我上一篇博客已经讲了线性系统求解。

Xw = y

这里X是m *n的大小。

如果mn一样大，w就有唯一解，否则这个问题就叫ill-posed。

有ill -posed就有well -posed。对于一个问题

若存在一个解

这个解是唯一的

解永远由数据决定。

也就是说，如果不是well-posed，那就是ill-posed。

那么如何解决ill posed呢？也就是如何解决解不唯一的问题 ？或者是没有解的问题？

岭回归 ridge regression

我们已经知道如果有假设空间，我们可以用交叉验证来选择假设class。

另一种方法是，我们可以修改误差函数，添加一个复杂度式子。

这个方法也叫做正则化regularization

（说了这么多废话终于可以讲岭回归了）