机器学习_基于支持向量机的分类预测(纯小白自学)

学习目标

• 了解支持向量机的分类标准
• 了解支持向量机的软间隔分类
• 了解支持向量机的非线性核函数分类

支持向量机的介绍

支持向量机（Support Vector Machine，SVM）是一个非常优雅的算法，具有非常完善的数学理论，常用于数据分类，也可以用于数据的回归预测中，由于其其优美的理论保证和利用核函数对于线性不可分问题的处理技巧，在上世纪90年代左右，SVM曾红极一时。

• 主要优点：1. 利用内积核函数代替向高维空间的非线性映射 2. 避免了“维数灾难” 3. 简化了通常的分类和回归等问题
• 主要缺点：1. 对大规模训练样本难以实施 2. 解决多分类问题存在困难

初始支持向量机

1.支持向量

线性可分

可以用一个线性函数把两类样本分开，比如二维空间中的直线、三维空间中的平面以及高维空间中的线性函数

最大间隔超平面

从二维扩展到多维空间中时，将两个点集完全正确地划分开的 $wx+b=0$ 就成了一个超平面。为使这个超平面更强壮，我们会去找最佳超平面，以最大间隔把两类样本分开的超平面，也称之为最大间隔超平面

支持向量

样本中距离超平面最近的一些点，这些点叫做支持向量

SVM 最优化问题
任意超平面可以用这个线性方程来描述：

$$w^{T}x+b=0$$

二维空间点$(x,y)$到直线 $Ax+By+C=0$的距离公式是：

∣ A x + B y + C ∣ A 2 + B 2 \frac{|Ax+By+C|}{\sqrt {A^2+B^2}}