《统计学习方法》笔记（九）--SVM(1)

定性：二类分类模型，是判别式模型

核心思想：间隔最大化

主要途径：求解凸二次规划

包括三部分：线性可分支持向量机，线性支持向量机，非线性支持向量机。

1.线性可分支持向量机与硬间隔最大化

注意：svm是在特征空间中进行学习的

svm与感知机的区别：

感知机利用误差分类最小的策略，求得分离超平面，解有无穷多个。

svm利用间隔最大化求最优分离超平面，解是唯一的。

函数间隔，几何间隔

硬间隔最大化目标：

min 0.5*||w||^2

s.t. yi*(w*xi+b)-1>=0

算法例7.1

>> H=[1 0 0;0 1 0;0 0 0]

H =

     1     0     0
     0     1     0
     0     0     0

>> f=[0;0;0]

f =

     0
     0
     0

>> A=[-3 -3 -1;-4 -3 -1;1 1 1]

A =

    -3    -3    -1
    -4    -3    -1
     1     1     1

>> b=[-1;-1;-1]

b =

    -1
    -1
    -1

>> [X,FVAL,EXITFLAG,OUTPUT,LAMBDA] = quadprog(H,f,A,b)