[DataAnalysis]支持向量机的软间隔与正则化

最新推荐文章于 2024-04-29 23:45:04 发布

TOMOCAT

最新推荐文章于 2024-04-29 23:45:04 发布

阅读量2.7w

点赞数

分类专栏：数据分析

本文链接：https://blog.csdn.net/TOMOCAT/article/details/82497227

版权

47 篇文章 2 订阅

订阅专栏

理想化的支持向量机存在一个超平面将不同类的样本完全划分开。然而在现实任务中往往很难确定合适的核函数使得训练样本在特征空间中完全线性可分。退一步说，即便恰好找到了某个核函数使训练集在特征空间中线性可分，也很难断定这个貌似线性可分的结果不是由于过拟合造成的。

因此缓解该问题的办法是允许支持向量机在某些样本上出错，为此要引入“软间隔”的概念。如下图所示：

即允许某些样本不满足约束 $y_i(w^Tx_i+b)\geq 1$

在最大化间隔的同时，我们需要不满足约束的样本点尽可能少，于是优化目标可以写成：

$\min_{w,b}\quad \frac{1}{2}||w||^2+C\sum_{i=1}^{m}l _{0/1}(y_i(w^Tx_i+b)-1)$

其中 $C$ 是一个常数， $l_{0/1}$ 是一个损失函数

$l_{0/1}(z)=\left\{\begin{matrix} 1, & ifz<0\\ 0,& otherwise \end{matrix}\right.$

但是由于 $l_{0/1}$ 非凸，非连续，数学性质不太好，使得参数不容易直接求解。于是人们通常用其他一些函数来代替 $l_{0/1}$ ，称为“替代损失”。常见的替代损失函数有：

关注