Andrew Ng 机器学习笔记（八）

顺序最小优化算法

本节课的任务是完成对SVM算法的讲解，首先讲解一下什么是核，之后我们会讲L1 norm Soft Margin软间隔SVM，是SVM的一种变化形式，可以用来处理非线性分割的数据，最后讲一下SMO算法，这个算法主要讲我们上一次提出的优化问题。

支持向量机的思想是，在算法中，每一个内积（并不太懂内积是什么，公式太复杂了。。。），将他们转换成可以高效计算的函数，这样算法将在fai(x)空间运行，尽管fai(x)空间是维度很高的向量空间。

如何去创造一个核呢？

有一个质量的理解是比较有用的：给定一组属性x将其转化成fai(x)，在给定一个z，你们将会去使用输入特征向量fai(z)，所以核就是计算两个特征向量fai(x)与fai(z)之间的内积。所以这种直观地理解是（并不是一种非常严格直观的理解），如果x和z非常相似，那么fai(x)与fai(z)将会指向相同的方向，因此内积将会比较大。相反的，如果x和z的相似度比较低，那么fai(x)与fai(z)将会指向相反的方向，因此内积将会比较小。当我们进行机器学习时，如果我给你一些数据你要对他们进行分类，你需要找到一个核，一种方式是使K(x,z)取一个较大的值，当你希望学习算法认为x和z是相似的，反之则取一个较小的值。总而言之，当你需要对这些陌生的事物进行分类时，一种生成核的方法是尝试让核生成一个较大的值；当你想让这两个事物比较相似的时候，反之让核生成一个较小的值。如果K是一个存在的核，那么它所对应的核矩阵是半正定矩阵，逆命题也是成立的。所以说这给了你一种测试K是否合法的方法。

让我们把核的概念和SVM联系起来，比如说我们需要在SVM中使用核，首先先选择一个核函数，核函数的选择取决于你的问题用怎样的方式度量更加合适。如果说你的原始数据是一维数据，那么它是线性不可分的，但是你将它映射到高维空间中，数据就变得线性可分，所以你可以使用线性分类器对原始空间中并非线性可分的数据进行分类。这就是SVM输出非线性决策边界的整个过程，你所要做的仅仅是求解凸优化问题。

l1 norm 软间隔SVM

它对原有的算法进行了修改，使我们可以处理非线性可分的情形，同时对于那些包含异常数据的可线性可分的数据集合，通过这个算法也可以不进行完全正确的线性分隔。