机器学习13-支持向量机大边界的直观理解

最新推荐文章于 2024-08-03 18:21:56 发布

新之

最新推荐文章于 2024-08-03 18:21:56 发布

阅读量1.5k

点赞数

分类专栏：机器学习理论文章标签：支持向量机机器学习

本文链接：https://blog.csdn.net/xinzhi8/article/details/70195480

版权

本文介绍了支持向量机（SVM）作为大间距分类器的概念，通过分析代价函数，展示了SVM如何寻找最大间隔的决策边界。在C值很大的情况下，SVM力求使得正负样本的分类边界距离最大化，从而提高模型的鲁棒性。然而，过大的C值可能导致过拟合，而适当调整C值可以帮助SVM在处理非线性可分数据或异常点时保持良好的分类效果。

摘要由CSDN通过智能技术生成

人们有时将支持向量机看作是大间距分类器。在这一部分，我将介绍其中的含义，这有助于我们直观理解 SVM 模型的假设是什么样的。

这是我的支持向量机模型的代价函数，在左边这里我画出了关于 z 的代价函数 cost1(z)，此函数用于正样本，而在右边这里我画出了关于 z 的代价函数 cost0(z)，横轴表示 z，现在让我们考虑一下，最小化这些代价函数的必要条件是什么。如果你有一个正样本，y 等于 1，则只有在 z 大于等于 1 时，代价函数 cost1(z)才等于 0。换句话说，如果你有一个正样本，我们会希望Θ^T x>=1，反之，如果 y 是等于 0 的，我们观察一下，函数 cost0(z)，它只有在 z<=1的区间里函数值为 0。这是支持向量机的一个有趣性质。事实上，如果你有一个正样本 y 等于 1，则其实我们仅仅要求ΘTx 大于等于 0，就能将该样本恰当分出，这是因为如果Θ^T x >0大的话，我们的模型代价函数值为 0，类似地，如果你有一个负样本，则仅需要Θ^T x <=0会将负例正确分离，但是，支持向量机的要求更高，不仅仅要能正确分开输入的样本，即不仅仅要求Θ^T x >0，我们需要的是比 0 值大很多，比如大于等于 1，我也想这个比 0 小很多&#x