目录
1. 支持向量机(SVM)概述
- 定义:支持向量机是一种监督学习模型,主要用于数据分类问题。其基本思想是通过一个超平面来分割数据点,使得不同类别的数据点位于超平面的两侧。
- 分类:支持向量机主要分为三类:线性可分支持向量机、线性支持向量机和非线性支持向量机。
2. 超平面与支持向量
- 超平面:在n维空间中,超平面是一个n-1维的子空间。在二维空间中,它是一个直线;在三维空间中,它是一个平面。超平面可以表示为 w^T * x + b = 0,其中w是法向量,b是截距,x是样本点。
- 支持向量:距离超平面最近的样本点称为支持向量。这些点对确定超平面的位置起着决定性作用。
3. 间隔最大化
- 函数间隔:对于给定的训练集和超平面,样本点 (x_i, y_i) 到超平面的函数间隔为 r_i = y_i(wT * x_i + b)。但是,当w和b成比例变化时,函数间隔也会成比例变化。
- 几何间隔:为了消除这种影响,引入了几何间隔。样本点 (x_i, y_i) 到超平面的几何间隔为 γ_i = y_i((w / ||w||) * x_i + b / ||w||)。其中 ||w|| 是w的范数。
- 目标:SVM的目标是找到一个超平面,使得训练集上所有样本点的几何间隔最大。这可以转化为一个优化问题,即最大化几何间隔。
4. 优化问题
- 优化目标:最小化 ||w||2 / 2,同时满足约束条件 y_i(wT * x_i + b) ≥ 1(对于所有样本点)。这是一个凸二次规划问题。
- 求解:通过拉格朗日乘子法将原始问题转化为对偶问题,并利用SMO算法求解。最终得到的是w和b的最优解,从而确定最优超平面。
5. 核函数
- 非线性分类:对于非线性可分的数据,SVM通过引入核函数将数据映射到高维空间,使得数据在高维空间中线性可分。
- 常用核函数:包括线性核、多项式核、高斯核等。选择合适的核函数对于SVM的性能至关重要。
6. 总结
- 支持向量机通过找到一个最优超平面来实现对数据的分类。该超平面由支持向量确定,并且使得训练集上所有样本点的几何间隔最大。
- 对于非线性可分的数据,SVM通过引入核函数将数据映射到高维空间,实现非线性分类。
- SVM具有泛化能力强、对高维数据有效等优点,在许多领域都有广泛的应用。