1、基本知识
决策边界,或称为决策面,其目的是将两种类别的进行分开。
决策边界如何定义?训练集上的正负样本到决策边界的距离保持最大。
支撑向量是什么?可以理解为当前样本下,支撑当前决策边界的样本,如何支撑向量不变,继续增加训练样本,决策边界不会发生变化。
松弛因子ei(大于0),对约束进行放松,允许噪声点的存在,这个很重要,因为大部分情况下样本都是近似可分(即使在使用核函数的情况下),松弛因子的存在使寻找的决策边界更优。
惩罚项C(大于0),控制松弛因子ei的作用情况,当C很大,ei发挥的作用小,也就是松弛的少,当C很小,ei发挥的在作用大,松弛的多
SVM的目标函数与约束怎么来?
假设决策边界函数 g ( x ) = w x + b g(x)=wx+b g(x)=wx+b,则样本点到 g ( x ) 的 距 离 为 g(x)的距离为 g(x)的距离为
∣ g ( x ) ∣ ∣ ∣ w ∣ ∣ \frac{|g(x)|}{||w||} ∣∣w∣∣∣g(x)∣在SVM中只关注支撑样本点,然后取距离它们最远的平面为决策边界,转为数学公式为: m a x ( m i n ( ∣ g ( x ) ∣ ∣ ∣ w ∣ ∣ ) ) max(min(\frac{|g(x)|}{||w||})) max(min(∣∣w∣∣∣g(x)∣)),可以简化成: m a x ( 1 ∣ ∣ w ∣ ∣ ) max(\frac{1}{||w||}) max(∣∣w∣∣1) s . t . y i ∗ g ( x i ) ≥ 1 s.t. \ \ \ y_i*g(x_i)\ge1 s.t. yi∗g(xi)≥1怎么来的呢?一般有 y i = − 1 或 1 , ∣ g ( x ) ∣ ≥ 1 y_i=-1或1,|g(x)|\ge1 yi=−1或1,∣g(x)∣≥1所以推导得到
2、基本原理
假设给定样本集 D = ( x 1 → , y 1 → ) , ( ( x 2 → , y 2 → ) , ⋅ ⋅ ⋅ , ( ( x n → , y n → ) D={(\overrightarrow{x_1},\overrightarrow{y_1}),((\overrightarrow{x_2},\overrightarrow{y_2}),···,((\overrightarrow{x_n},\overrightarrow{y_n})} D=(x1,y1),((x2,y2),⋅