李航 《统计学习方法》第七章支持向量机习题答案

1.比较感知机的对偶形式和线性可分支持向量机的对偶性形式。

感知机原始形式： $$\underset{w,b}{\min }L(w,b)=-\sum _{x_iϵM}(y_i(w\cdot x_i+b))$$$M$为误分点的集合。等价于$$\underset{w,b}{\min }L(w,b)=\sum _{i=1}^N(-y_i(w\cdot x_i+b){)}_{+}$$
对偶形式： $w$,$b$表示为$x_i$,$y_i$的线性组合的形式，求其系数（线性组合的系数）$w={\sum }_{i=1}^N{\alpha }_i{y}_i{x}_i$,$b={\sum }_{i=1}^N{\alpha }_i{y}_i$ $$\underset{w,b}{\min }L(w,b)=\underset{{\alpha }_i}{\min }L({\alpha }_i)=\sum _{i=1}^N(-y_i(\sum _{j=1}^N{\alpha }_j{y}_j{x}_j\cdot x_i+\sum _{j=1}^N{\alpha }_j{y}_j){)}_{+}$$
线性可分支持向量机原始问题：$$\begin{gathered} \underset{w,b}{\min }\frac{1}{2}\Vert w{\Vert }^2 \\ s.t.y_i(w\cdot x_i+b)-1\ge 0 \end{gathered}$$
线性可分支持向量机对偶问题：$$\begin{gathered} \underset{\alpha }{\min }\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j(x_i\cdot x_j)-\sum _{i=1}^N{\alpha }_i \\ s.t.\sum _{i=1}^N{\alpha }_i{y}_i=0 \\ 0\le {\alpha }_i\le C,i=1,2,\cdots ,N \end{gathered}$$最终$w^{\ast },b^{\ast }$可以按照下士求出，$w^{\ast }={\sum }_{i=1}^N{\alpha }_i^{\ast }{j}_i{x}_i$,$b^{\ast }=y_j-{\sum }_{i=1}^N{\alpha }_i^{\ast }(x_i\cdot x_j)$。可以看出$w,b$实质也是将其表示为$x_i,x_j$的线性组合形式。

2.已知正例点$x_1=(1,2{)}^T$,$x_2=(2,3{)}^T$,$x_3=(3,3{)}^T$，负例点$x_4=(2,1{)}^T$,$x_5=(3,2{)}^T$,试求最大间隔分离超平面和分类决策函数，并在图上画出分离超平面，间隔边界以及支持向量。

手动计算：根据题意，得到目标函数即约束条件$$\begin{gathered} \min \frac{1}{2}\Vert w_1^2+w_2^2\Vert \\ s.t.w_1+2w_2+b\ge 1(1) \\ 2w_1+3w_2+b\ge 1(2) \\ 3w_1+3w_2+b\ge 1(3) \\ -2w_1-w_2-b\ge 1(4) \\ -3w_1-2w_2-b\ge 1(5) \end{gathered}$$

以$w_1.w_2$为坐标轴找到可行域，目标函数即求到原点距离最小的点，也就是$w=[-1,2]$,对于正例点$b\ge -2$，对于负例点$b\le -2$，所以$b=-2$。
python实验验证：

from sklearn import svm
x=[[1, 2], [2, 3], [3, 3], [2, 1], [3, 2]]
y=[1, 1, 1, -1, -1]
clf = svm.SVC(kernel='linear',C=10000)
clf.fit(x, y)
print(clf.coef_)
print(clf.intercept_)

画图

import matplotlib.pyplot as plt
import numpy as np
plt.scatter([i[0] for i in x], [i[1] for i in x], c=y)
xaxis = np.linspace(0, 3.5)
w = clf.coef_[0]
a = -w[0] / w[1]
y_sep = a * xaxis - (clf.intercept_[0]) / w[1]
b = clf.support_vectors_[0]
yy_down = a * xaxis + (b[1] - a * b[0])
b = clf.support_vectors_[-1]
yy_up = a * xaxis + (b[1] - a * b[0])
plt.plot(xaxis, y_sep, 'k-')
plt.plot(xaxis, yy_down, 'k--')
plt.plot(xaxis, yy_up, 'k--')
plt.scatter (clf.support_vectors_[:, 0], clf.support_vectors_[:, 1], s=150, facecolors='none', edgecolors='k')
plt.show()

3.线性支持向量机还可以定义为以下形式：$$\begin{gathered} \underset{w,b,\xi }{\min }\frac{1}{2}\Vert w{\Vert }^2+C\sum _{i=1}^N{\xi }_i^2 \\ s.t.y_i(w\cdot x_i+b)\ge 1-{\xi }_i,i=1,2,\cdots ,N \\ {\xi }_i\ge 0,i=1,2,\cdots ,N \end{gathered}$$试求其对偶形式。

根据支持向量机的对偶算法得到对偶形式，由于不能消去变量${\xi }_i$的部分，所以拉格朗日因子也包含${\mu }_i$。

4 证明内积的正整数幂函数$K(x,z)=(x\cdot z{)}^p$是正定核函数，这里$p$是正整数，$x,z\in R^n$。

根据书中内容需要证明$K(X,Z)$对应的Gram矩阵$K=[K(x_i,x_j){]}_{m\times n}$是半正定矩阵。
对任意的$c_1,c_2,\cdots ,c_m\in R$,有
$$\begin{gathered} \sum _{i,j=1}^m{c}_i{c}_{j}K(x_i,x_j)=\sum _{i,j=1}^m{c}_i{c}_j(x_i\cdot x_j{)}^p \\ =(\sum _{i=1}^m{c}_i{x}_i)(\sum _{j=1}^m{c}_j{x}_j)(x_i\cdot x_j{)}^{p-1} \\ =\Vert (\sum _{i=1}^m{c}_i{x}_i){\Vert }^2(x_i\cdot x_j{)}^{p-1} \end{gathered}$$因为$p\ge 1$,所以$p-1\ge 0$,所以$(x_i\cdot x_j{)}^{p-1}\ge 0$，所以原始大于等于0，即Gram矩阵半正定，所以正整数的幂函数是正定核函数。