SVM算法原理介绍

SVM算法

目的:解决感知机的问题

感知机问题:

1.泛化能力弱

2.只关注错误点,不考虑各类别的分布,就会出现过拟合

一:SVM介绍

1.svm思想

数据集中的点在分割之后离超平面越远越好

分割:理解为函数 f

超平面:理解为参数W , 决定函数的集合

分割和超平面理解为: f(W)

越远越好:

• 越远则预留的空间越大,可以容纳更多新的数据点,解决泛化能力
• 多个类别的时候要综合考虑类与类之间的距离

二.SVM模型

需要解决两个问题:

1.距离计算 max[maxarg(Wi,Xi)]

2.s.t 前提:所有分类都正确

• wx>0 , y=1
• wx<0 , y=-1
• 综合以上得出 y*wx>0

如图:

$$\begin{gathered} SVM模型公式:满足以下两点 \\ s.t前提y\times (wx)>0 \\ max[max(W,X)] \end{gathered}$$