Extending linear models

1. 支持向量机能利用线性模型来实现对非线性分类边界的描绘。

the trick is easy: transform the input using a nonlinear mapping; in other words, transform the instance space into a new space.由于用了非线性映射，在新空间里的一条直线，在原来的空间里看起来却不是直的。在新空间里建立的线性模型可以代表在原来空间里的非线性决策边界。

2. the maximum margin hyperplane - 最大边际超平面

SVM is based on an algorithm that finds a special kind of linear model: the maximum margin hyperplane.

最靠近最大边际超平面的实例即距离超平面最近的实例，称为支持向量。每个类至少有一个支持向量，经常是多个。

寻找实例集的支持向量，并决定参数b和ai，属于标准的优化问题，称为受限的二次优化（constrained quadratic optimization）。