周志华西瓜书《机器学习》习题提示——第6章

习题提示

6.1：
设空间中任一点为$\mathbf{x}$，超平面上任一点为${\mathbf{x}}_0$，点$\mathbf{x}$到超平面的距离为：
$$\begin{array}{rl}\underset{{\mathbf{x}}_0}{\min }r=& \underset{{\mathbf{x}}_0}{\min }(\mathbf{x}-{\mathbf{x}}_0{)}^{\mathrm{T}}(\mathbf{x}-{\mathbf{x}}_0)\\ & s.t.{\mathbf{w}}^{\mathrm{T}}{\mathbf{x}}_0+b=0\end{array}\text{\hspace{1em}(1)(2)}$$

由柯西不等式（$|{\mathbf{a}}^{\mathrm{T}}\mathbf{b}|⩽\Vert \mathbf{a}\Vert \Vert \mathbf{b}\Vert$）有：
$$\begin{array}{rl}{r}^2\cdot {\Vert w\Vert }^2& =(\mathbf{x}-{\mathbf{x}}_0{)}^{\mathrm{T}}(\mathbf{x}-{\mathbf{x}}_0)\cdot {\mathbf{w}}^{\mathrm{T}}\mathbf{w}\\ & ⩾[{\mathbf{w}}^{\mathrm{T}}(\mathbf{x}-{\mathbf{x}}_0){]}^2\\ & =[{\mathbf{w}}^{\mathrm{T}}\mathbf{x}-{\mathbf{w}}^{\mathrm{T}}{\mathbf{x}}_0{]}^2\\ & =[{\mathbf{w}}^{\mathrm{T}}\mathbf{x}+b{]}^2\text{(由条件式(2))}\end{array}\text{\hspace{1em}(3)}$$
即$\underset{{\mathbf{x}}_0}{\min }r$为【西瓜书(6.2)】式。

6.2：
线性核和高斯核参见【西瓜书表6.1】，设$\mathbf{x}=(\text{密度，含糖率})$，利用软件包LIBSVM调相应的函数求解，之后比较过程和结果。

6.3：线性核和高斯核参见【西瓜书表6.1】，利用软件包LIBSVM调相应的函数求解，与前两章的内容（BP神经网络和C4.5决策树）进行比较实验。

6.4：针对二分类问题，由【西瓜书图3.3】和【西瓜书图6.2】知，线性判别分析【西瓜书(3.36)】所确定的${\mathbf{w}}_1$与支持向量机【西瓜书(6.6)】所确定的${\mathbf{w}}_2$，具有垂直关系：
$$\begin{array}{r}{{\mathbf{w}}_1}^{\mathrm{T}}{\mathbf{w}}_2=0\end{array}\text{\hspace{1em}(4)}$$

当样本的原始空间是线性可分时，则存在决策超平面$({\mathbf{w}}_0,b)$为该二分问题的解，线性判别分析和使用（软间隔）支持向量机方法等价。 此时对样本空间采样得到的数据集$D$反映了样本空间中样本的分布情况，在对数据集$D$使用线性判别分析和使用（软间隔）支持向量机方法。 即：
$$\begin{array}{r}{\mathbf{w}}_0={\mathbf{w}}_2\end{array}\text{\hspace{1em}(5)}$$
这时，式(4)(5)反映了三者之间的关系。

当样本的原始空间通过核函数方法映射到特征空间中时，可以在特征空间中应用上述结论。

6.5：
参见6.2 核函数型支持向量机SVM（方法：比较基本型来学习）的高斯核SVM（G-SVM）。

6.6：
由【西瓜书图6.2】可知，确定间隔的两条直线${\mathbf{w}}^{\mathrm{T}}\mathbf{x}+b=\pm 1$，只与支持向量有关，与其它向量无关，若噪声使得支持向量移动，则影响了超平面的位置。 为了解决这个问题引入了软间隔和正则化。

6.7：
对照优化问题【西瓜书附录(B.4)】的KKT条件【西瓜书附录(B.6)】，列出【西瓜书(6.45)】的KKT条件即可。

6.8：
在LIBSVM软件包中选用支持向量回归SVR即可。

6.9：
参见6.5 核对率回归和核线性判别分析中的“核对率回归”小节。

6.10：这是一个开放性的讨论题。

例如，在线性可分的前提下，设数据集$D$中二类的类中心点为${\mu }^{+}$ 和${\mu }^{-}$，求得两中心点的中点
${\mu }_0=\frac{1}{2}({\mu }^{+}+{\mu }^{-})$，以该中点为中心作球，球的大小适当，使得如下条件得到满足：

（1）每一类在球中都有点；

（2）球中最多的类至少有$d$个线性无关的点（$d$为点的维数），以便能固定超平面。

再仅对球中的点进行SVM即可。

本文为原创，您可以：

• 点赞（支持博主）
• 收藏（待以后看）
• 转发（他考研或学习，正需要）
• 评论（或讨论）
• 引用（支持原创）
• 不侵权

上一篇：周志华西瓜书《机器学习》习题提示——第5章
下一篇：7.1 贝叶斯决策论（贝叶斯学派与频率学派有很大的分岐）