第七章支持向量机.7.2间隔分离最大化的存在唯一性

本课程来自深度之眼，部分截图来自课程视频以及李航老师的《统计学习方法》第二版。
公式输入请参考： 在线Latex公式
定理7.1（最大间隔分离超平面的存在唯一性）若训练数据集T线性可分，则可将训练数据集中的样本点完全正确分开的最大间隔分离超平面存在且唯一。

存在性

$$\begin{gathered} \underset{w,b}{\min }\frac{1}{2}||w|{|}^2 \\ \text{s.t.}{y}_i\left(w\cdot x_i+b\right)-1\ge 0i=1,2,\cdots ,N \end{gathered}$$
由于训练数据集线性可分，所以算法一定存在可行解。又由于目标函数又下界，所以最优化问题必有解。由于训练数据中既有正类点又有负类点，所以$(w,b)=(0,b)$不是最优化的可行解，因此最优解必定满足$w$不等于0，由此可知分离超平面的存在性。

唯一性

假设问题存在两个最优解$(w_1^{\ast },b_1^{\ast }),(w_2^{\ast },b_2^{\ast })$，根据条件中的式子可知，两个最优解均能使得$\frac{1}{2}||w|{|}^2$最小，因此有：
$$\frac{1}{2}||w_1^{\ast }|{|}^2=\frac{1}{2}||w_2^{\ast }|{|}^2=c/2$$
因此我们如果假设最小值是常数$c/2$，则有：
$$||w_1^{\ast }||=||w_2^{\ast }||=c$$
令$w=\frac{w_1^{\ast }+w_2^{\ast }}{2},b=\frac{b_1^{\ast }+b_2^{\ast }}{2}$，从下面推导可以知道$(w,b)$是问题的可行解：
$$\begin{gathered} y_i\left(w\cdot x+b\right)-1 \\ =y_i\left(\frac{w_1^{\ast }+w_2^{\ast }}{2}\cdot x+\frac{b_1^{\ast }+b_2^{\ast }}{2}\right)-1 \\ =\frac{1}{2}\left[y_i\left((w_1^{\ast }+w_2^{\ast })\cdot x+b_1^{\ast }+b_2^{\ast }\right)-2\right] \\ =\frac{1}{2}(y_i{w}_1^{\ast }x+y_i{b}_1^{\ast }-1+y_i{w}_2^{\ast }x+y_i{b}_2^{\ast }-1) \end{gathered}$$
根据以上推导结果我们可以得到如下关系：
$$c\le ||w||=||\frac{w_1^{\ast }+w_2^{\ast }}{2}||=||\frac{1}{2}{w}_1^{\ast }+\frac{1}{2}{w}_2^{\ast }||\le ||\frac{1}{2}{w}_1^{\ast }||+||\frac{1}{2}{w}_2^{\ast }||=c$$
因此上式中的等号成立：
$$||w||=||\frac{1}{2}{w}_1^{\ast }||+||\frac{1}{2}{w}_2^{\ast }||$$
向量存在以上关系，可以知道$w_1^{\ast },w_2^{\ast }$必然同向，因此可以写成：
$$w_1^{\ast }=\lambda w_2^{\ast },|\lambda |=1$$
如果$\lambda =-1$，则$w=\frac{w_1^{\ast }+w_2^{\ast }}{2}=0$，$(w,b)$不是问题可行解，矛盾。
因此必有$\lambda =1$：
$$w_1^{\ast }=w_2^{\ast }$$
两个最优解$(w_1^{\ast },b_1^{\ast }),(w_2^{\ast },b_2^{\ast })$可以写为$(w^{\ast },b_1^{\ast }),(w^{\ast },b_2^{\ast })$。再证$b_1^{\ast }=b_2^{\ast }$
假设$x_1^{\prime },x_2^{\prime }$是集合 { x i ∣ y i = − 1 } \{x_i|y_i=-1\} {xi​∣yi​=−1}中对应$(w^{\ast },b_1^{\ast }),(w^{\ast },b_2^{\ast })$使得问题的不等式等号成立的点；$x_1^{\prime \prime },x_2^{\prime \prime }$是集合 { x i ∣ y i = 1 } \{x_i|y_i=1\} {xi​∣yi​=1}中对应$(w^{\ast },b_1^{\ast }),(w^{\ast },b_2^{\ast })$使得问题的不等式等号成立的点。
意思就是一撇是在超平面的正分类（$y_i=1$）临界面上的点（满足约束条件的等号），两撇是负分类（$y_i=-1$）临界面上的点。
$$\begin{gathered} y_i\left(w^{\ast }\cdot x_1^{\prime }+b_1^{\ast }\right)-1=y_i\left(w^{\ast }\cdot x_1^{\prime \prime }+b_1^{\ast }\right)-1=0 \\ {w}^{\ast }\cdot x_1^{\prime }+b_1^{\ast }=-(w^{\ast }\cdot x_1^{\prime \prime }+b_1^{\ast }) \\ -2b_1^{\ast }=w^{\ast }\cdot x_1^{\prime }+w^{\ast }\cdot x_1^{\prime \prime } \\ {b}_1^{\ast }=-\frac{1}{2}(w^{\ast }\cdot x_1^{\prime }+w^{\ast }\cdot x_1^{\prime \prime }) \end{gathered}$$
同理：
$$b_2^{\ast }=-\frac{1}{2}(w^{\ast }\cdot x_2^{\prime }+w^{\ast }\cdot x_2^{\prime \prime })$$
两个式子相减：
$$\begin{gathered} b_1^{\ast }-b_2^{\ast }=-\frac{1}{2}[(w^{\ast }\cdot x_1^{\prime }+w^{\ast }\cdot x_1^{\prime \prime })-(w^{\ast }\cdot x_2^{\prime }+w^{\ast }\cdot x_2^{\prime \prime })] \\ =-\frac{1}{2}[w^{\ast }\cdot (x_1^{\prime }-x_2^{\prime })+w^{\ast }\cdot (x_1^{\prime \prime }-x_2^{\prime \prime })]\text{\hspace{1em}(1)} \end{gathered}$$
由于$x_1^{\prime }$是所在超平面的临界点（支持向量），因此$x_2^{\prime }$对于$x_1^{\prime }$是所在超平面而言，肯定要远一些：
$$\begin{gathered} w^{\ast }\cdot x_2^{\prime }+b_1^{\ast }\ge 1=w^{\ast }\cdot x_1^{\prime }+b_1^{\ast } \\ {w}^{\ast }\cdot x_1^{\prime }+b_2^{\ast }\ge 1=w^{\ast }\cdot x_2^{\prime }+b_2^{\ast } \end{gathered}$$
化简一下：
$$\begin{gathered} w^{\ast }\cdot x_2^{\prime }\ge w^{\ast }\cdot x_1^{\prime } \\ {w}^{\ast }\cdot x_1^{\prime }\ge w^{\ast }\cdot x_2^{\prime } \end{gathered}$$
因此左右必定相等：
$$\begin{gathered} w^{\ast }\cdot x_2^{\prime }=w^{\ast }\cdot x_1^{\prime } \\ {w}^{\ast }\cdot (x_1^{\prime }-x_2^{\prime })=0 \end{gathered}$$
同理：
$$w^{\ast }\cdot (x_1^{\prime \prime }-x_2^{\prime \prime })=0$$
把这个结果带入1后：
$$b_1^{\ast }-b_2^{\ast }=0$$
由
$$w_1^{\ast }=w_2^{\ast },b_1^{\ast }=b_2^{\ast }$$
可知，两个最优解$(w_1^{\ast },b_1^{\ast }),(w_2^{\ast },b_2^{\ast })$相同，唯一性得证。