习题7.1文档

解答：

解答思路：

1. 列出感知机的原始形式；
2. 写出感知机的对偶形式；
3. 列出线性可分支持向量机的原始形式；
4. 写出线性可分支持向量机的对偶形式；
5. 比较感知机和线性可分支持向量机的对偶形式。
   解答步骤：
   第1步：感知机的原始形式
   给定一个训练数据集
   T = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , ⋯   , ( x N , y N ) } T=\left\{\left(x_1, y_1\right),\left(x_2, y_2\right), \cdots,\left(x_N, y_N\right)\right\} T={(x1​,y1​),(x2​,y2​),⋯,(xN​,yN​)}
   其中， x i ∈ X = R n , y i ∈ Y = { − 1 , 1 } , i = 1 , 2 , ⋯   , N x_i \in \mathcal{X}=R^n, y_i \in \mathcal{Y}=\{-1,1\}, i=1,2, \cdots, N xi​∈X=Rn,yi​∈Y={−1,1},i=1,2,⋯,N ，求参数 $w,b$ ，使其为以下损失函数极小化问题的解
   $$\underset{w,b}{\min }L(w,b)=-\sum _{x_i\in M}{y}_i\left(w\cdot x_i+b\right)$$
   其中 $M$ 为误分类点的集合。
   第2步：感知机的对偶形式
   输入: 线性可分的数据集 T = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , ⋯   , ( x N , y N ) } T=\left\{\left(x_1, y_1\right),\left(x_2, y_2\right), \cdots,\left(x_N, y_N\right)\right\} T={(x1​,y1​),(x2​,y2​),⋯,(xN​,yN​)} ，其中 x i ∈ R n , y i ∈ { − 1 , + 1 } , i = 1 , 2 , ⋯   , N x_i \in R^n, y_i \in\{-1,+1\}, i=1,2, \cdots, N xi​∈Rn,yi​∈{−1,+1},i=1,2,⋯,N ；学习率 $\eta$ ( $0<\eta ⩽1)$ ；输出: $a,b$; 感知机模型 $f(x)=$ $\mathrm{sign}\left({\sum }_{j=1}^N{\alpha }_j{y}_j{x}_j\cdot x+b\right)$, 其中 $\alpha ={\left({\alpha }_1,{\alpha }_2,\cdots ,{\alpha }_N\right)}^T$
   (1) $\alpha \leftarrow 0,b\leftarrow 0$;
   (2) 在训练集中选取数据 $\left(x_i,y_i\right)$ ；
   (3) 如果 $y_i\left({\sum }_{j=1}^N{\alpha }_j{y}_j{x}_j\cdot x+b\right)⩽0$ ，
   (4) 转至 (2)，直至训练集中没有误分类数据。
   从学习过程不难看出，最后学习到的 $w,b$ 可以分别表示为
   $$\begin{array}{c}w=\sum _{i=1}^N{\alpha }_i{y}_i{x}_i\\ b=\sum _{i=1}^N{\alpha }_i{y}_i\end{array}$$
   这里, ${\alpha }_i⩾0,i=1,2,\cdots ,N$
     综上所述：
     1.感知机的原始形式中的损失函数：
     $$\underset{w,b}{\min }L(w,b)=-\sum _{x_i\in M}{y}_i\left(w\cdot x_i+b\right)$$
   2 感知机的对偶形式中的损失函数: 可知 $w,b$ 表示为 $⟨x_i,y_i⟩$ 的线性组合形式，则
   $$\underset{w,b}{\min }L(w,b)=\underset{\alpha }{\min }L(\alpha )=-\sum _{x_i\in M}\left(y_i\left(\sum _{j=1}^N{\alpha }_j{y}_j{x}_j\cdot x_i+\sum _{j=1}^N{\alpha }_j{y}_j\right)\right)$$
   其中， $\alpha ={\left({\alpha }_1,{\alpha }_2,\cdots ,{\alpha }_N\right)}^T$
     第3步：线性可分支持向量机的原始形式
     $$\begin{array}{ll}{\min }_{w,b}& \frac{1}{2}\Vert w{\Vert }^2\\ \text{ s.t. }& y_i\left(w\cdot x_i+b\right)-1⩾0,i=1,2,\cdots ,N\end{array}$$
   第4步: 线性可分支持向量机的对偶形式
   输入: 线性可分训练集 T = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , ⋯   , ( x N , y N ) } T=\left\{\left(x_1, y_1\right),\left(x_2, y_2\right), \cdots,\left(x_N, y_N\right)\right\} T={(x1​,y1​),(x2​,y2​),⋯,(xN​,yN​)} ， 其中 x i ∈ X = R n , y i ∈ Y = { − 1 , + 1 } , i = 1 , 2 , ⋯   , N x_i \in \mathcal{X}=R^n, y_i \in \mathcal{Y}=\{-1,+1\}, i=1,2, \cdots, N xi​∈X=Rn,yi​∈Y={−1,+1},i=1,2,⋯,N ；
   输出: 分离超平面和分类决策函数。
   （1）构造并求解约束最优化问题
   $$\begin{array}{ll}{\min }_{\alpha }& \frac{1}{2}{\sum }_{i=1}^N{\sum }_{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j\left(x_i\cdot x_j\right)-{\sum }_{i=1}^N{\alpha }_i\\ \text{ s.t. }& {\sum }_{i=1}^N{\alpha }_i{y}_i=0\\ & {\alpha }_i⩾0,i=1,2,\cdots ,N\end{array}$$
   求得最优解 ${\alpha }^{\ast }={\left({\alpha }_1^{\ast },{\alpha }_2^{\ast },\cdots ,{\alpha }_N^{\ast }\right)}^T$ 。
   (2) 计算
   $$w^{\ast }=\sum _{i=1}^N{\alpha }_i^{\ast }{y}_j{x}_i$$
   并选择 ${\alpha }^{\ast }$ 的一个正分量 ${\alpha }_j^{\ast }>0$ ，计算
   $$b^{\ast }=y_i-\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i\left(x_i\cdot x_j\right)$$
   (3) 求得分离超平面
   $$w^{\ast }\cdot x+b^{\ast }=0$$
   分类决策函数:
   $$f(x)=\mathrm{sign}\left(w^{\ast }\cdot x+b^{\ast }\right)$$
   综上所述：
   线性可分支持向量机的原始形式中的损失函数：
   $$\underset{w,b}{\min }L(w,b)=\frac{1}{2}\Vert w{\Vert }^2$$
   线性可分支持向量机的对偶形式中的损失函数：根据定理 7.2 ，可知 $w,b$ 表示为 $⟨x_i,y_i⟩$ 的线性组合形式，则
   $$\underset{w,b}{\min }L(w,b)=\underset{\alpha }{\min }L(\alpha )=\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j\left(x_i\cdot x_j\right)-\sum _{i=1}^N{\alpha }_i$$
   其中， $\alpha ={\left({\alpha }_1,{\alpha }_2,\cdots ,{\alpha }_N\right)}^T$
   第 $5\frac{1}{5}$ : 感知机和线性可分支持向量机对偶形式的比较
   在两者的对偶形式中， $w,b$ 都可以表示为 $⟨x_i,y_i⟩$ 的线性组合形式；
   在两者的对偶形式中，都可以通过求解 $\alpha ={\left({\alpha }_1,{\alpha }_2,\cdots ,{\alpha }_N\right)}^T$ ，最后代入由 $x_i,y_i,{\alpha }_i$ 表示的 $w$ 和 $b$ 公式中，从而求解最优化问题的解 $w^{\ast }$ 和 $b^{\ast }$ ；
   感知机学习得到一个分隔超平面，而线性可分支持向量机学习得到所有分隔超平面中的间隔最大分隔超平面。