svm概述
图中红线就是最佳划分线,离红线最近两个点到分隔线的向量就是支持向量
假设数据是多维的,分隔线表达式为
x
1
a
1
+
x
2
a
2
+
.
.
.
+
x
n
a
n
+
b
=
0
x_1a_1+x_2a_2+ ... +x_na_n+b=0
x1a1+x2a2+...+xnan+b=0
( a 1 a 2 ⋮ a n ) T ∗ ( x 1 x 2 ⋮ x n ) T + b = 0 \begin{pmatrix} a_1\\ a_2\\ \vdots\\ a_n \end{pmatrix}^T * \begin{pmatrix} x_1\\ x_2\\ \vdots\\ x_n \end{pmatrix}^T +b = 0 a1a2⋮an T∗ x1x2⋮xn T+b=0
就可以简化为
w
x
+
b
=
0
wx+b=0
wx+b=0
支持向量点到分隔线的距离
d
=
∣
w
T
x
+
b
∣
∣
∣
w
∣
∣
d=\dfrac{|w^Tx+b|}{||w||}
d=∣∣w∣∣∣wTx+b∣ 要使d最大,则||w||最小
每个点都满足
y
i
(
w
T
x
i
+
b
)
⩾
1
y_i(w^Tx_i+b)\geqslant1
yi(wTxi+b)⩾1
所以目标函数为
{
min
∣
∣
w
∣
∣
y
i
(
w
T
x
i
+
b
)
⩾
1
\begin{cases} \min ||w||\\ y_i(w^Tx_i+b)\geqslant1\\ \end{cases}
{min∣∣w∣∣yi(wTxi+b)⩾1