机器学习之SVM支持向量机（一）

最新推荐文章于 2020-12-22 13:36:56 发布

谓之小一

最新推荐文章于 2020-12-22 13:36:56 发布

阅读量465

点赞数

分类专栏：机器学习机器学习文章标签：机器学习支持向量机 SVM 算法

本文链接：https://blog.csdn.net/XiaoYi_Eric/article/details/79800327

版权

本文详细介绍了SVM（支持向量机）的损失函数，强调最大间隔分类的重要性，并探讨了核函数，特别是Gaussian Kernel在SVM中的应用。通过对SVM损失函数的解析，展示了如何通过最大化间隔来优化分类器，并介绍了如何选择合适的C和σ²参数。

摘要由CSDN通过智能技术生成

我们思考这样一个问题，给两个标签，蓝色和红色点，数据有两个特征(x,y)。我们想要一个分类器，给定一对(x,y)，能找到很好的分类边界，判断是蓝色点还是红色点。对于下图的数据，我们如何解决呢。本文通过引入Support Vector Machine（SVM）算法来详解此类问题。

1.SVM损失函数

针对前面介绍的机器学习之线性回归、机器学习之Logistic回归，我们已经了解Cost Function的概念，这里我们利用Logistic Regression的损失函数来引入SVM损失函数。

首先我们先复习下Logistic Regression Function
$h_{\theta}=\frac{1}{1+e^{-\theta^Tx}}$
如果 $y = 1$ ，我们希望 $h_{\theta}\approx1$ ，那么 $\theta^Tx\gg0$ 。如果 $y = 0$ ，我们希望 $h_{\theta}\approx0$ ，那么 $\theta^Tx\ll0$ 。我们以Logistic Regression为例

$Example=-\left( (ylogh_\theta(x))+(1-y)log(1-h_\theta(x))\right)$

$=-ylog\frac{1}{1+e^{-\theta^Tx}}-(1-y)log(1-\frac{1}{1+e^{-\theta^Tx}})$

当 $y = 1$ 时，此时 $\theta^Tx\gg0$ ，上述公式为 $-ylog\frac{1}{1+e^{-\theta^Tx}}$ ，其中 $z=\theta^Tx$ 。我们将曲线分为两段，下图中取 $z = 1$ 点，粉色线部分我们定义为 $cost_1(z)$ 。
当 $y = 0$ 时，此时 $\theta^Tx\ll0$ ，上述公式为 $-(1-y)log(1-\frac{1}{1+e^{-\theta^Tx}})$ ，其中 $z=\theta^Tx$ 。我们将曲线分为两段，下图中取 $z = - 1$ 点，粉色线部分我们定义为 $cost_0(z)$ 。
$cost_1(z)$ 与 $cost_0(z)$ 便是我们希望的Cost Function曲线，和Logistic Function曲线非常接近， $cost_1(z)$ 与 $cost_0(z)$ 分别代表y=1和y=0时的目标函数定义。

Logistic Regression的损失函数:
$min_{\theta}\frac{1}{m}[\sum_{i=1}^{m}y^{(i)}(-logh_{\theta}(x^{(i)}))+(1-y^{(i)})(-log(1-h_{\theta}(x^{(i)})))]+\frac{\lambda}{2m}\sum_{j=1}^{n}\theta_{j}^{2}$

最低0.47元/天解锁文章

谓之小一

关注

0
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
机器学习之SVM支持向量机（一）

我们思考这样一个问题，给两个标签，蓝色和红色点，数据有两个特征(x,y)。我们想要一个分类器，给定一对(x,y)，能找到很好的分类边界，判断是蓝色点还是红色点。对于下图的数据，我们如何解决呢。本文通过引入Support Vector Machine（SVM）算法来详解此类问题。1.SVM损失函数针对前面介绍的机器学习之线性回归、机器学习之Logistic回归，我们已经了解Cost Fu...
复制链接

扫一扫

专栏目录