SVM学习笔记及sklearn实现

一：SVM的基本原理：

SVM用于进行二分类问题，对于一组二分类训练集，   , i=1,..., n, ；SVM求解如下的优化问题

注：该问题目标函数经过（1）距离最大到w^2最小；（2）对于软间隔问题，加松弛因子 ，其中C为惩罚因子，越大代表对于离群点越重视，当C无穷大，则代表为硬间隔情况。（3） 表示原空间已经进行了空间升维。（4）其中的 为对应每一个样本的松弛因子，（slack variables）其原型是集中损失函数，包括【0/1损失函数，hinge损失，指数损失，对率损失】其中hinge损失效果较好。

以上问题是二次规划问题，可以通过拉格朗日乘子法将其转化为一个对偶问题，

注：（1）C是一个上界（2）Q是正对称矩阵 , 是核函数（3）以上需要满足KKT条件。

二：sk-learn实现

1.基本实现

>>> from sklearn import svm

>>> X = [[0, 0], [1, 1]]

>>> y = [0, 1]

>>> clf = svm.SVC()

>>> clf.fit(X, y)

SVC(C=1.0, cache_size=200, class_weight=None, coef0=0.0,    decision_function_shape=None, degree=3, gamma='auto', kernel='rbf',    max_iter=-1, probability=False, random_state=None, shrinking=True,    tol=0.001, verbose=False)

2.显示所得支持向量

&g