习题提示
6.1:
设空间中任一点为
x
\boldsymbol{x}
x,超平面上任一点为
x
0
\boldsymbol{x}_0
x0,点
x
\boldsymbol{x}
x到超平面的距离为:
min
x
0
r
=
min
x
0
(
x
−
x
0
)
T
(
x
−
x
0
)
s
.
t
.
w
T
x
0
+
b
=
0
\begin{align} \mathop{\min}\limits_{\boldsymbol{x}_0} r=&\mathop{\min}\limits_{\boldsymbol{x}_0}(\boldsymbol{x}-\boldsymbol{x}_0)^\mathrm{T}(\boldsymbol{x}-\boldsymbol{x}_0)\tag{1}\\ &\mathrm{s.t.}\quad \boldsymbol{w}^\mathrm{T}\boldsymbol{x}_0+b=0 \tag{2} \end{align}
x0minr=x0min(x−x0)T(x−x0)s.t.wTx0+b=0(1)(2)
由柯西不等式(
∣
a
T
b
∣
⩽
∥
a
∥
∥
b
∥
|\boldsymbol{a}^\mathrm{T}\boldsymbol{b}|\leqslant \| \boldsymbol{a}\|\|\boldsymbol{b}\|
∣aTb∣⩽∥a∥∥b∥)有:
r
2
⋅
∥
w
∥
2
=
(
x
−
x
0
)
T
(
x
−
x
0
)
⋅
w
T
w
⩾
[
w
T
(
x
−
x
0
)
]
2
=
[
w
T
x
−
w
T
x
0
]
2
=
[
w
T
x
+
b
]
2
(由条件式(2))
\begin{align} r^2\cdot{\| w\|}^2 &=(\boldsymbol{x}-\boldsymbol{x}_0)^\mathrm{T}(\boldsymbol{x}-\boldsymbol{x}_0)\cdot\boldsymbol{w}^\mathrm{T}\boldsymbol{w}\notag\\ &\geqslant [\boldsymbol{w}^\mathrm{T}(\boldsymbol{x}-\boldsymbol{x}_0)]^2\notag\\ &=[\boldsymbol{w}^\mathrm{T}\boldsymbol{x}-\boldsymbol{w}^\mathrm{T}\boldsymbol{x}_0]^2\notag\\ &=[\boldsymbol{w}^\mathrm{T}\boldsymbol{x}+b]^2\qquad \text{(由条件式(2))} \tag{3} \end{align}
r2⋅∥w∥2=(x−x0)T(x−x0)⋅wTw⩾[wT(x−x0)]2=[wTx−wTx0]2=[wTx+b]2(由条件式(2))(3)
即
min
x
0
r
\mathop{\min}\limits_{\boldsymbol{x}_0} r
x0minr为【西瓜书(6.2)】式。
6.2:
线性核和高斯核参见【西瓜书表6.1】,设
x
=
(
密度,含糖率
)
\boldsymbol{x}=(\text{密度,含糖率})
x=(密度,含糖率),利用软件包LIBSVM调相应的函数求解,之后比较过程和结果。
6.3:线性核和高斯核参见【西瓜书表6.1】,利用软件包LIBSVM调相应的函数求解,与前两章的内容(BP神经网络和C4.5决策树)进行比较实验。
6.4:针对二分类问题,由【西瓜书图3.3】和【西瓜书图6.2】知,线性判别分析【西瓜书(3.36)】所确定的
w
1
\boldsymbol{w}_1
w1与支持向量机【西瓜书(6.6)】所确定的
w
2
\boldsymbol{w}_2
w2,具有垂直关系:
w
1
T
w
2
=
0
\begin{align} { \boldsymbol{w}_1}^\mathrm{T}\boldsymbol{w}_2=0 \tag{4} \end{align}
w1Tw2=0(4)
当样本的原始空间是线性可分时,则存在决策超平面
(
w
0
,
b
)
(\boldsymbol{w}_0,b)
(w0,b)为该二分问题的解,线性判别分析和使用(软间隔)支持向量机方法等价。 此时对样本空间采样得到的数据集
D
D
D反映了样本空间中样本的分布情况,在对数据集
D
D
D使用线性判别分析和使用(软间隔)支持向量机方法。 即:
w
0
=
w
2
\begin{align} \boldsymbol{w}_0= { \boldsymbol{w}_2} \tag{5} \end{align}
w0=w2(5)
这时,式(4)(5)反映了三者之间的关系。
当样本的原始空间通过核函数方法映射到特征空间中时,可以在特征空间中应用上述结论。
6.5:
参见6.2 核函数型支持向量机SVM(方法:比较基本型来学习)的高斯核SVM(G-SVM)。
6.6:
由【西瓜书图6.2】可知,确定间隔的两条直线
w
T
x
+
b
=
±
1
\boldsymbol{w}^\mathrm{T}\boldsymbol{x}+b=\pm 1
wTx+b=±1,只与支持向量有关,与其它向量无关,若噪声使得支持向量移动,则影响了超平面的位置。 为了解决这个问题引入了软间隔和正则化。
6.7:
对照优化问题【西瓜书附录(B.4)】的KKT条件【西瓜书附录(B.6)】,列出【西瓜书(6.45)】的KKT条件即可。
6.8:
在LIBSVM软件包中选用支持向量回归SVR即可。
6.9:
参见6.5 核对率回归和核线性判别分析中的“核对率回归”小节。
6.10:这是一个开放性的讨论题。
例如,在线性可分的前提下,设数据集
D
D
D中二类的类中心点为
μ
+
{\mu}^+
μ+ 和
μ
−
{\mu}^-
μ−,求得两中心点的中点
μ
0
=
1
2
(
μ
+
+
μ
−
)
{\mu}_0=\frac{1}{2}({\mu}^++{\mu}^-)
μ0=21(μ++μ−),以该中点为中心作球,球的大小适当,使得如下条件得到满足:
(1)每一类在球中都有点;
(2)球中最多的类至少有 d d d个线性无关的点( d d d为点的维数),以便能固定超平面。
再仅对球中的点进行SVM即可。
本文为原创,您可以:
- 点赞(支持博主)
- 收藏(待以后看)
- 转发(他考研或学习,正需要)
- 评论(或讨论)
- 引用(支持原创)
- 不侵权