为什么SVM最大化几何间隔等同于最小化||w||

最新推荐文章于 2021-11-23 15:35:58 发布

我是刘某某

最新推荐文章于 2021-11-23 15:35:58 发布

阅读量1.2k

点赞数 1

分类专栏：机器学习

本文链接：https://blog.csdn.net/lekusun9671/article/details/112318006

版权

机器学习专栏收录该内容

2 篇文章 0 订阅

订阅专栏

这个问题困扰了笔者很久，今天终于弄明白了，记录一下，防止遗忘。

背景

SVM是一个二分类模型，目标是找到两个类别的最大间隔超平面。给定一组数据 $\left \{ \left ( x_{1}, y_{1} \right ), \left ( x_{2}, y_{2} \right, ..., \left ( x_{N}, y_{N} \right ) )\right \}$ , 其中 $y_{i} \in \left \{ -1, +1 \right \}$

公式推导

首先引入两个概念：

函数间隔 $\gamma$ ：所有样本点到超平面wx+b=0的最小距离。由于几何间隔会随着超平面参数的变化而变化，如果w和b同时增大两倍，函数间隔也会增大两倍，这样的话不同超平面的函数间隔无法作比较；

几何间隔 $\widehat{\gamma }$ ：将超平面的参数的模设为1 时的函数间隔，也就是超平面 $\frac{w}{||w||}x + \frac{b}{||w||}=0$ 对应的函数间隔。

为了求最大间隔超平面，目标函数定义为：

$\left\{\begin{matrix} max\ \gamma \\ s.t. \ y_{i}(wx_{i}+b) \geq \gamma \end{matrix}\right.$

由于不同超平面的函数间隔无法直接比较，引入几何间隔：

$\left\{\begin{matrix} max\ \widehat{\gamma }\\ s.t. \ y_{i}(\frac{w}{\left \| w \right \|}x_{i}+\frac{b}{\left \| w \right \|})\geq \widehat{\gamma } \end{matrix}\right. \ \Rightarrow \left\{\begin{matrix} max\ \widehat{\gamma }\\ s.t. \ y_{i}(\frac{w}{\left \| w \right \|\widehat{\gamma }}x_{i}+\frac{b}{\left \| w \right \|\widehat{\gamma }})\geq 1 \end{matrix}\right.$

令 $w^{'} = \frac{w}{\left \| w \right \|\widehat{\gamma }}, \ b^{'} = \frac{b}{\left \| w \right \|\widehat{\gamma }}$ ,可得：

$\left\{\begin{matrix} max\ \widehat{\gamma }\\ s.t. \ y_{i}(\frac{w}{\left \| w \right \|\widehat{\gamma }}x_{i}+\frac{b}{\left \| w \right \|\widehat{\gamma }})\geq 1 \end{matrix}\right. \Rightarrow \left\{\begin{matrix} max\ \widehat{\gamma }\\ s.t. \ y_{i}(w^{'}x_{i}+b^{'})\geq 1 \end{matrix}\right.$

由于 $\left \|w^{'} \right \| = \frac{\left \|w \right \|}{\left \| w \right \|\widehat{\gamma }} = \frac{1}{\widehat{\gamma }}$ ，所以 $max\ \widehat{\gamma } \Leftrightarrow min\ \left \| w^{'} \right \|$

最终的目标函数为：

$\left\{\begin{matrix} min\ \left \| w^{'} \right \|\\ s.t. \ y_{i}(w^{'}x_{i}+b^{'})\geq 1 \end{matrix}\right. \Rightarrow \left\{\begin{matrix} min\ \frac{1}{2}\left \| w^{'} \right \|^2\\ s.t. \ y_{i}(w^{'}x_{i}+b^{'})\geq 1 \end{matrix}\right.$

我是刘某某

关注

1
点赞
踩
6

收藏

觉得还不错? 一键收藏
0
评论
为什么SVM最大化几何间隔等同于最小化||w||

这个问题困扰了笔者很久，今天终于弄明白了，记录一下，防止遗忘。背景SVM是一个二分类模型，目标是找到两个类别的最大间隔超平面。给定一组数据, 其中公式推导首先引入两个概念：函数间隔：所有样本点到超平面wx+b=0的最小距离。由于几何间隔会随着超平面参数的变化而变化，如果w和b同时增大两倍，函数间隔也会增大两倍，这样的话不同超平面的函数间隔无法作比较；几何间隔：将超平面的参数的模设为1 时的函数间隔，也就是超平面对应的函数间隔。为了求最大间隔超平面，目标函数定义为：由于不同
复制链接

扫一扫

专栏目录