《统计学习方法》第7章 课后题答案

最近在补一些机器学习的基础知识，所以就刷了一下李航博士的《统计学习方法》。那么刷一本书怎么才能彻底呢，当然是刷题了。幸好作者在每一章留有课后题，在这里尝试做一下。

（一想到这部分内容可能会被完爆我好几条街的大神看到就觉得好害羞 ⁄(⁄ ⁄•⁄ω⁄•⁄ ⁄)⁄。个人水平有限，望大神指正）

---

在做题之前先吐槽一下第7章的内容，本章介绍了支持向量机的相关知识，内容安排合理，讲解清楚，是很棒的入门材料。不过在刷书的过程中遇到了一些小疑问，我准备把这些小疑问和大家分享一下。有些通过查文献找到了答案，有些还没有解决，希望路过的大神指点。

1、P104在推导拉格朗日函数$L(w,b,\alpha )$极小值的过程中，如何确定所求得的极值点（导数等于0的点）就是$L(w,b,\alpha )$的极小值而不是极大值呢？是否可以证明一下其所对应的二次型在这一情况下只能取极小值？

2、p120式7.82下面那句话如果严格说来应该是“对于不完备的赋范向量空间$S$，一定可以找到一个完备的赋范向量空间$H$，使得$S$在$H$中稠密”

3、P130式7.116下面那段话，原文的意思是如果$0<{\alpha }_i^{\text{new}}<C$，那么$b_1^{\text{new}}=b_2^{\text{new}}$。我尝试证明一下这但是死活搞不出来。后来转念一想，P112最下面的部分不是已经说明了$b$的值不唯一么。为什么这里就变成$b_1^{\text{new}}=b_2^{\text{new}}$一定成立了呢？

后来经过查阅Platt的原始文献"Fast training of support vector machines using sequential minimal optimization"发现原文中是这么说的：“when $b_1$ and $b_2$ are vaild, they are equal”（$b_1,b_2$是原作者使用的记号，也就相当于$b_1^{\text{new}},b_2^{\text{new}}$）。所以我觉得原文中的内容是不是这个意思：“如果$b_1^{\text{new}},b_2^{\text{new}}$都复合条件，那么用哪个作为最终结果都是一样的”。不知这部分理解是否正确，求大神指点。

4、P130在SMO算法中，应该在第一步也将$b$初始化为0

---

进入正题，下面的答案是我自己做的，有时候会偷懒╮(￣▽￣)╭，请见谅。

1.1 比较感知机的对偶形式与线性可分支持向量机的对偶形式。

这是一个开放问题，如何比较这两种模型的对偶形式呢。我思前想后决定首先把这两个对偶形式写出来：

给定一个训练数据集
$$T=\{(x_1,y_1),(x_2,y_2),\dots ,(x_N,y_N)\}$$
其中， x i ∈ X = R n , y i ∈ Y = { − 1 , 1 } , i = 1 , 2 , … , N x_i\in \mathcal{X} = R^n, y_i \in \mathcal{Y} =\{-1,1\}, i=1,2, \dots,N xi​∈X=Rn,yi​∈Y={ −1,1},i=1,2,…,N。

根据本书前面的内容：感知机学习算法是求参数$w,b$，使其为以下损失函数极小化问题的解：

$$\underset{w,b}{\min }L(w,b)=-\sum _{x_i\in M}{y}_i(w\cdot x_i+b)$$

其中$M$为误分类点的集合。上式称为感知机算法的原始形式，事实上， 如果使用P114页所介绍的$[\ast {]}_{+}$函数，可以将上述原始形式写为：

$$\underset{w,b}{\min }L(w,b)=\sum _{i=1}^N[-y_i(w\cdot x_i+b){]}_{+}$$

如果将$w,b$表示为实例$x_i$和标记$y_i$的线性组合的形式，即：

$$\begin{array}{rl}w& =\sum _{j=1}^N{\alpha }_j{y}_j{x}_j\\ b& =\sum _{j=1}^N{\alpha }_j{y}_j\end{array}$$

其中${\alpha }_j>0,j=1,2,\dots ,N$那么上述原始形式可以写为如下的对偶形式：

min ⁡ w , b L ( w , b ) = ∑ i = 1 N [ − y i ( w ⋅ x i + b ) ] + = ∑ i = 1 N [ − y i ( ∑ j = 1 N α j y j x j ⋅ x i + ∑ j = 1 N α j y j ) ] + = ∑ i