前言
支持向量机包括:
- 线性可分的支持向量机;
- 线性支持向量机;
- 非线性支持向量机。
本篇文章总结前面两种。
支持向量机与感知机的关系:间隔最大化的感知机==支持向量机,它是唯一的。从这里也可以看出,我们在满足正确分类的前提下,还要最大化间隔。感知机不用,只要别误分类就行。
几何间隔
先想一想点到直线的距离公式,再看几何间隔公式: r = y w T x + b ∣ ∣ w T ∣ ∣ r=y\frac{w^Tx+b}{||w^T||} r=y∣∣wT∣∣wTx+b(为什么乘y,是因为本来是绝对值,但是乘y以后,如果正确分类相当于绝对值)。
支持向量机要得到的就是几何间隔最大,我们可以把问题公式化:
max w , b r s . t . y w T x + b ∣ ∣ w T ∣ ∣ ≥ r \max_{w,b}\ r\\ s.t.\ y\frac{w^Tx+b}{||w^T||}\ge r w,bmax rs.t. y∣∣wT∣∣wTx+b≥r
那么我们为什么还要看函数间隔呢?
函数间隔
当我们确定一个分离超平面了以后,从几何间隔公式看到, r r r的大小只和x有关,其他的都是确定值。对于任意一个样本点分母 ∣ ∣ w T ∣ ∣ ||w^T|| ∣∣wT∣∣都是一样的。那我们只留会改变的部分: r ^ = y ( w T + b ) \hat r=y(w^T+b)