统计学习方法 第七章习题答案

习题7.1

题目：
比较感知机的对偶形式与线性可分支持向量机的对偶形式.
解答：
感知机：
原始形式
${\min }_{w,b}L(w,b)={\sum }_{i=1}^N{\left[-y_i\left(w\cdot x_i+b\right)\right]}_{+}$
对偶形式
${\min }_{w,b}L(w,b)={\min }_{{\alpha }_i}L\left({\alpha }_i\right)={\sum }_{i=1}^N\left(-y_i\left({\sum }_{j=1}^N{\alpha }_j{y}_j{x}_j\cdot x_i+{\sum }_{j=1}^N{\alpha }_j{y}_j\right)\right)$
由对偶形式可以求到$w,b$
$$\begin{gathered} w={\sum }_{i=1}^N{\alpha }_i{y}_i{x}_{i,} \\ b={\sum }_{i=1}^N{\alpha }_i{y}_i \end{gathered}$$
线性可分支持向量机：
原始形式：
$\begin{array}{ll}{\min }_{w,b}& \frac{1}{2}\Vert w{\Vert }^2\\ \text{ s.t. }& y_i\left(w\cdot x_i+b\right)-1⩾0,i=1,2,\cdots ,N\end{array}$
对偶形式：
$\begin{array}{cl}{\min }_{\alpha }& \frac{1}{2}{\sum }_{i=1}^N{\sum }_{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j\left(x_i\cdot x_j\right)-{\sum }_{i=1}^N{\alpha }_i\\ \text{ s.t. }& {\sum }_{i=1}^N{\alpha }_i{y}_i=0\\ & {\alpha }_i⩾0,i=1,2,\cdots ,N\end{array}$
由对偶形式可以求到$w,b$
$w^{\ast }={\sum }_{i=1}^N{\alpha }_i^{\ast }{y}_i{x}_i$
$b^{\ast }=y_j-{\sum }_{i=1}^N{\alpha }_i^{\ast }{y}_i\left(x_i\cdot x_j\right)$

习题7.2

题目：
已知正例点$x_1=(1,2{)}^T,x_2=(2,3{)}^T,x_3=(3,3{)}^T$，负例点$x_4=(2,1{)}^T,x_5=(3,2{)}^T$，试求最大间隔分离超平面和分类决策函数，并在图上画出分离超平面、间隔边界及支持向量.
解答：
原始形式
$\min \frac{1}{2}\Vert w_1^2+w_2^2\Vert$
s.t. $w_1+2w_2+b\ge 1...(1)$
$2w_1+3w_2+b\ge 1...(2)$
$3w_1+3w_2+b\ge 1...(3)$
$-2w_1-w_2-b\ge 1...(4)$
$-3w_1-2w_2-b\ge 1...(5)$
化简一下有
$(1)+(4):-w_1+w_2\ge 2$
$(1)+(5):-2w_1\ge 2$
$(2)+(4):2w_2\ge 2$
$(3)+(4):w_1+2w_2\ge 2$
$(3)+(5):w_2\ge 2$
得到的5个方程，使用高中知识数学规划，画一下关于$w_1,w_2$坐标系，发现$w_1^2+w_2^2$最小是在$w_1=-1,w_2=2$
将这个值带入原来的（1）-（5）方程，可以得到$b=-2$
（图就不画了(✺ω✺)）

习题7.3

题目：
线性支持向量机还可以定义为以下形式：
$\begin{array}{ll}{\min }_{w,b,\xi }& \frac{1}{2}\Vert w{\Vert }^2+C{\sum }_{i=1}^N{\xi }_i^2\\ \text{ s.t. }& y_i\left(w\cdot x_i+b\right)⩾1-{\xi }_i,i=1,2,\cdots ,N\\ & {\xi }_i⩾0,i=1,2,\cdots ,N\end{array}$
试求其对偶形式.
解答：
与课本110页的推导类似
这个形式的拉格朗日函数为
$L(w,b,\xi ,\alpha ,\mu )\equiv \frac{1}{2}\Vert w{\Vert }^2+C{\sum }_{i=1}^N{\xi }_i^2-{\sum }_{i=1}^N{\alpha }_i\left(y_i\left(w\cdot x_i+b\right)-1+{\xi }_i\right)-{\sum }_{i=1}^N{\mu }_i{\xi }_i$
其中
${\alpha }_i⩾0,{\mu }_i⩾0$
首先求$L(w,b,\xi ,\alpha ,\mu )$对$w,b,\xi$的极小
${\nabla }_{w}L(w,b,\xi ,\alpha ,\mu )=w-{\sum }_{i=1}^N{\alpha }_i{y}_i{x}_i=0$
${\nabla }_{b}L(w,b,\xi ,\alpha ,\mu )=-{\sum }_{i=1}^N{\alpha }_i{y}_i=0$
${\nabla }_{{\xi }_i}L(w,b,\xi ,\alpha ,\mu )=2C{\xi }_i-{\alpha }_i-{\mu }_i=0$
得到：
$w={\sum }_{i=1}^N{\alpha }_i{y}_i{x}_i$
${\sum }_{i=1}^N{\alpha }_i{y}_i=0$
$2C{\xi }_i-{\alpha }_i-{\mu }_i=0$
带入原式
$$\begin{gathered} {\min }_{w,b,\xi }L(w,b,\xi ,\alpha ,\mu ) \\ =-\frac{1}{2}{\sum }_{i=1}^N{\sum }_{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j\left(x_i\cdot x_j\right)+{\sum }_{i=1}^N{\alpha }_i-C{\sum }_{i=1}^N{\xi }_i^2 \\ =-\frac{1}{2}{\sum }_{i=1}^N{\sum }_{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j\left(x_i\cdot x_j\right)+{\sum }_{i=1}^N{\alpha }_i-C{\sum }_{i=1}^N(\frac{{\alpha }_i+{\mu }_i}{2C}{)}^2 \\ =-\frac{1}{2}{\sum }_{i=1}^N{\sum }_{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j\left(x_i\cdot x_j\right)+{\sum }_{i=1}^N{\alpha }_i-\frac{1}{4C}{\sum }_{i=1}^N({\alpha }_i+{\mu }_i{)}^2 \end{gathered}$$
再对${\min }_{w,b,\xi }L(w,b,\xi ,\alpha ,\mu )$求$\alpha$的极大，得对偶问题
$ma{x}_{\alpha }-\frac{1}{2}{\sum }_{i=1}^N{\sum }_{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j\left(x_i\cdot x_j\right)+{\sum }_{i=1}^N{\alpha }_i-\frac{1}{4C}{\sum }_{i=1}^N({\alpha }_i+{\mu }_i{)}^2$
$s.t{\sum }_{i=1}^N{\alpha }_i{y}_i=0$
${\alpha }_i,{\mu }_i>0i=1,2...N$

习题7.4

题目：
证明内积的正整数幂函数：
$K(x,z)=(x\cdot z{)}^p$
是正定核函数，这里$p$是正整数，$x,zϵR_n$
解答：
要证明$K(x,z)$为正定核，有两种想法，一种是证明根据公式（7.26），证明$K(x,z)$满足$K(x,z)=\varphi (x)\cdot \varphi (z)$一种是根据定理7.5，证明对任意$x_iϵX,i=1,2...m,K(x,z)$对应的$Gram$矩阵$K=[K(x_i,x_j){]}_{m\ast m}$为半正定矩阵。
我用数学归纳法证明$K(x,z)=\varphi (x)\cdot \varphi (z)$
（1）$p=1$时$K(x,z)=x\cdot z$，取${\varphi }_1(x)=x$，满足条件

（2）假设$p=k$时，$K(x,z)$ 为正定核，即有$K(x,z)={\varphi }_k(x)\cdot {\varphi }_k(z)$

（3）那么当$p=k+1$时
$$\begin{gathered} K(x,z) \\ =(x\cdot z{)}^k(x\cdot z) \\ ={\varphi }_k(x)\cdot {\varphi }_k(z)(x\cdot z) \end{gathered}$$
现在假设${\varphi }_k(x)=(f_1(x),f_2(x)...,f_m(x){)}^T,x=(x_1,x_2...x_n),z=(z_1,z_2...z_n{)}^T$
则有
$$\begin{gathered} K(x,z) \\ =(f_1(x)f_1(z)+f_2(x)f_2(z)+...+f_m(x)f_m(z))(x_1{z}_1+x_2{z}_2+...+x_n{z}_n) \\ =f_1(x)f_1(z)(x_1{z}_1+x_2{z}_2+...+x_n{z}_n)+f_2(x)f_2(z)(x_1{z}_1+x_2{z}_2+...+x_n{z}_n)+...+f_m(x)f_m(z)(x_1{z}_1+x_2{z}_2+...+x_n{z}_n) \end{gathered}$$
那么我们就可以取
${\varphi }_{k+1}(x)=(f_1(x)x_1,f_1(x)x_2...f_1(x)x_n,f_2(x)x_1,f_2(x)x_2,...,f_2(x)x_n,......f_m(x)x_1,f_m(x)x_2,...f_m(x)x_n{)}^T$
有$K(x,z)=(x\cdot z{)}^{k+1}={\varphi }_{k+1}(x)\cdot {\varphi }_{k+1}(z)$
得证

---

贴一个先前用半正定矩阵证明的方法，不过这个解法有点问题（关于用证明矩阵半正定的证明方法，有读者有好的想法可以在评论区一起讨论）
根据定理7.5，正定核函数的充要条件是对任意$x_iϵX,i=1,2...m,K(x,z)$对应的$Gram$矩阵$K=[K(x_i,x_j){]}_{m\ast m}$为半正定矩阵
对任意$c_1,c_2,...,c_mϵR$
$$\begin{gathered} {\sum }_{i,j=1}^m{c}_i{c}_{j}K(x_i,x_j) \\ ={\sum }_{i,j=1}^m{c}_i{c}_j(x_i\cdot x_j{)}^p \\ ={\sum }_{i=1}^m(c_i{x}_i\cdot c_j{x}_j)(x_i\cdot x_j{)}^{p-1} \end{gathered}$$
先来看前面一部分$(c_i{x}_i\cdot c_j{x}_j)$
$$\begin{gathered} {\sum }_{i=1}^m(c_i{x}_i\cdot c_j{x}_j) \\ =({\sum }_{i=1}^m{c}_i{x}_i)\cdot ({\sum }_{j=1}^m{c}_j{x}_j) \\ =||{\sum }_{i=1}^m{c}_i{x}_i|{|}^2\ge 0 \end{gathered}$$
再看后面一部分$(x_i\cdot x_j{)}^{p-1}p\ge 0$
对于
$$\begin{gathered} {\sum }_{i=1}^m(x_i\cdot x_j) \\ =({\sum }_{i=1}^m{x}_i)\cdot ({\sum }_{i=1}^m{x}_i) \\ =||{\sum }_{i=1}^m{x}_i|{|}^2\ge 0 \end{gathered}$$
而对于
$$\begin{gathered} {\sum }_{i=1}^m{a}_i{b}_i \\ s.t{\sum }_{i=1}^m{a}_i,{\sum }_{i=1}^m{b}_i\ge 0 \end{gathered}$$
一定有${\sum }_{i=1}^m{a}_i{b}_i\ge 0$
所以有${\sum }_{i=1}^m(c_i{x}_i\cdot c_j{x}_j)(x_i\cdot x_j{)}^{p-1}\ge 0$