机器学习笔记(11)—支持向量机

本节主要介绍支持向量机的内容，主要包括损失函数，应用过程等。

1.损失函数

在前文的逻辑回归中，我们讲过逻辑回归的模型为：

其图像为：

由前文可知：
如果分类结果为y=1，那么我们就希望损失函数的值接近于1，此时z >> 0;
如果分类结果为y=0，那么我们就希望损失函数的值接近于0，此时z << 0;

其COST项为：

把h_θ (x)带入：

当y=1时，其Cost项的曲线为：

当损失值很小时，z项很大。这就是在逻辑回归中在y=1时，将z想设置为很大的原因。图中的棕色曲线代表拟合COST项的近似曲线，因为是在y=1的情况下的Cost，所以叫Cost1(z)。

当y=1时，其Cost项的曲线为：

棕色曲线代表拟合COST项的近似曲线，因为是在y=0的情况下的Cost，所以叫Cost0(z)。

由前文可知逻辑回归的代价函数为：

根据COST项的定义：

我们使用支持向量机最小化代价函数（在损失函数中省略1/m，因为求最小值时不受平均值的影响）。在优化时，主要是求解：

的最小值，和：

的最小值。我们把损失函数函数简化为：

其中A代表Cost项，B代表正则化项。在支持向量机中习惯控制A的值大小，因此把损失函数改写为：

可以把C理解为1/λ（这样只是为了方便理解）。综上在支持向量机中需要优化的损失函数为：

支持向量机也叫大间距分类器（因为它产生的决策边界距离正负样本的距离都是最远的）。

2.使用支持向量机构建分类器

如图所示，若要拟合上图的分类边界一种办法是拟合复杂目标函数：

在本节中我们使用f代表特征x（f是和x有关的变量）：

我们把根据x1,x2得到的新特征叫做l1、l2、l3等等。定义：f1是样本和新特征l(1)的相似度：

相似度函数用数学术语来说就是一个核函数，本节中我们使用的高斯公式，因此本节中的核函数均是高斯核函数。
把特征x展开：

如果特征x≈l(1):

假设某个点距离l(1)很近，同时假设满足目标函数：

时，认定分类为1：
根据前文的介绍：

则预测结果为1。

3.SVM应用过程

给定m个训练样本，选择l(1)=x(1)、l(2)=x(2)、l(m)=x(m)和f1、f2等等。

其中f0=1。
对于训练集来说：

f就是我们描述训练样本的特征向量。
因此前文的：

根据以上推导，支持向量机的损失函数改写为：