【每日机器学习】之SVM之分类间隔

关于支持向量机SVM，下列说法错误的是()
A. L2正则项，作用是最大化分类间隔，使得分类器拥有更强的泛化能力
B. Hinge损失函数，作用是最小化经验分类错误
C. 分类间隔为$\frac{1}{||w||},||w||$代表向量的模
D. 当参数C越小时，分类间隔越大，分类错误越多，趋于欠学习

分类间隔为$\frac{2}{||w||}$

详细见下图

各选项：
选项A. L2正则项，作用是最大化分类间隔，使得分类器拥有更强的泛化能力
L2正则项：$\underset{\mathbf{w},b}{\mathrm{minimize}}||\mathbf{w}|{|}_2^2$
选项B. Hinge损失函数，作用是最小化经验分类错误
$\text{hinge loss function:}\text{max}(0,1-y_i({\mathbf{w}}^{⊺}{\mathbf{x}}_i-b))$
优化目标：
$\underset{\mathbf{w},b,\zeta }{\mathrm{minimize}}||\mathbf{w}|{|}_2^2+C\underset{i=1}{\sum ^n}{\zeta }_i$
subject to y i ( w ⊺ x i − b ) ≥ 1 − ζ i , ζ i ≥ 0 , ∀ i ∈ { 1 , . . . , n } \text{subject to}\hspace{6pt}y_i(\mathbf{w}^\intercal\mathbf{x_i}-b)\ge1-\zeta_i,\zeta_i\ge0,\forall i \in\{1,...,n\} subject toyi​(w⊺xi​−b)≥1−ζi​,ζi​≥0,∀i∈{1,...,n}

选项D. 当参数C越小时，分类间隔越大，分类错误越多，趋于欠学习
考虑Lagrange目标函数
$L=\frac{1}{2}{||w||}^2-\sum {\alpha }_i[y_i({\mathbf{w}}^{⊺}\mathbf{x}+b)-1]$
$\frac{\partial L}{\partial \mathbf{w}}=\mathbf{w}-\sum {\alpha }_i{y}_i{\mathbf{x}}_i=0\Rightarrow \mathbf{w}=\sum _i{\alpha }_i{y}_i{\mathbf{x}}_i$
$\frac{\partial L}{\partial b}=-\sum {\alpha }_i{y}_i=0\Rightarrow \sum {\alpha }_i{y}_i=0$
$L=\frac{1}{2}(\sum {\alpha }_i{y}_i{\mathbf{x}}_i)(\sum {\alpha }_j{y}_j{\mathbf{x}}_j)-\sum {\alpha }_i{y}_i{\mathbf{x}}_i\cdot (\sum {\alpha }_j{y}_j{\mathbf{x}}_j)-\sum {\alpha }_i{y}_{i}b+\sum {\alpha }_i$
$=\sum {\alpha }_i-\frac{1}{2}\sum _i\sum _j{\alpha }_i{\alpha }_j{y}_i{y}_j{\mathbf{x}}_i\cdot {\mathbf{x}}_j$
$\therefore \sum {\alpha }_i{y}_i{\mathbf{x}}_i\cdot {\mathbf{x}}_j+b>0,\text{plus samples}$
$\sum {\alpha }_i{y}_i{\mathbf{x}}_i\cdot {\mathbf{x}}_j+b<0,\text{minus samples}$
$C={\alpha }_i+{\mu }_i{}_{[1]}$
C作为惩罚因子，C越大确保准确度越大，牺牲间隔，反之亦然。

参考文献

[1] 周志华. 机器学习[M]. 北京: 清华大学出版社, 2016: 132.[PDF]