Support Vector Machines,SVM,支持向量机
各种SVM
C C -Support Vector Classication
训练向量 —
两个类class
指标向量 —
y∈Rl
y
∈
R
l
,
yi∈{1,−1}
y
i
∈
{
1
,
−
1
}
C
C
-SVC解决如下原始优化问题:
将 xi x i 映射到更高维空间, C>0 C > 0 为正则化参数。
由于向量参数 w w 的可能的高维度,通常我们解决如下对偶问题
为全为1的向量
Q
Q
— 一个的半正定矩阵positive semidefinite matrix
Qij≡yiyjK(xi,xj)
Q
i
j
≡
y
i
y
j
K
(
x
i
,
x
j
)
K(xi,xj)≡ϕ(xi)Tϕ(xj)
K
(
x
i
,
x
j
)
≡
ϕ
(
x
i
)
T
ϕ
(
x
j
)
— 核函数
问题(2)解决后,使用 primal-dual relationship 原始-对偶关系,最优的 w w 满足:
决策函数为
为进行预测,存储如下参数:
b
b
标签名称
其他参数 如 — 核参数
-Support Vector Classi cation
引入了新的参数 — ν∈(0,1] ν ∈ ( 0 , 1 ]
对偶问题为
当且仅当
问题才有意义
决策函数为
可用 eTα=ν e T α = ν 替代 eTα≥ν e T α ≥ ν
LIBSVM解决一个缩放版的问题,这是因为 αi≤1/l α i ≤ 1 / l 可能过小。
若
α
α
对于对偶问题(5)是最优的
ρ
ρ
对于原始问题(4)是最优的
则,
α/ρ
α
/
ρ
是带有
C=1/(ρl)
C
=
1
/
(
ρ
l
)
的
C
C
-SVM的一个最优解,因此,在LIBSVM模型中的输出为。
Distribution Estimation (One-class SVM)
单类别SVM
无类别信息
对偶问题为
决策函数为
缩放版
ϵ ϵ -Support Vector Regression ( ϵ ϵ -SVR)
训练点集 —
{(x1,z1),…,(xl,zl)}
{
(
x
1
,
z
1
)
,
…
,
(
x
l
,
z
l
)
}
xi∈Rn
x
i
∈
R
n
— 特征向量
zi∈R1
z
i
∈
R
1
— 目标输出
给定参数 —
C>0
C
>
0
及
ϵ>0
ϵ
>
0
,支持向量回归的标准形式为:
对偶问题为
在解决问题(9)后,估计函数为
输出为 — α∗−α α ∗ − α
ν ν -Support Vector Regression ( ν ν -SVR)
对偶问题为
估计函数为
eT(α+α∗)≤Cν e T ( α + α ∗ ) ≤ C ν 可替换为等式
C¯=C/l C ¯ = C / l
如下二者有相同解
1.
ϵ
ϵ
-SVR — 参数
(C¯,ϵ)
(
C
¯
,
ϵ
)
2.
ν
ν
-SVR — 参数
(lC¯,ν)
(
l
C
¯
,
ν
)