机器学习基础-支持向量机

支持向量机

支持向量机(support vector machines，简称SVM)属于二分类模型，基本思想是求解出正确划分训练集且集合间隔最大的超平面。(直观感觉是与正反两训练数据集相切的分割线)

首先明确前提条件与专业词语定义，前提条件是训练集是线性可分的，相关专业词汇有支持向量，几何间隔，凸二次规划，对偶。
支持向量：分割超平面的样本点即为支持向量。
几何间隔：样本点与超平面之间的间隔距离，超平面关于所有样本点的几何间隔的最小值即为支持向量到分割超平面的距离。
凸二次规划：凸优化问题是指定义域为凸集的凸函数最优化问题。其中凸集的定义是集合内任两点连成的线段均完全(代表包括单点)落在集合内，则该集合为凸集。凸优化形式如下所示

凸二次规划情况下目标函数分f(x)是凸二次型，g(x)的不等式约束是仿射函数。
对偶：
1）为什么需要进行对偶？ -因为原始问题转化成对偶问题后更易于求解，且引入了核函数，可推广到非线性分类问题的求解。(问题：为什么更易于求解呢？举个例子？)
2）为什么能进行对偶？-对偶具有普遍性，每一个线性规划问题均存在一个与它密切相关的线性规划问题。

推导过程

未完待续…

代码实现

未完待续…