SVM→6.软间隔问题(soft-margin)

最新推荐文章于 2023-11-23 14:58:58 发布
最新推荐文章于 2023-11-23 14:58:58 发布
阅读量577 收藏
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xiangrongweng0547/article/details/86163281
版权

SVM→6.软间隔问题(soft-margin)

《SVM→6 .软间隔问题(soft-margin)》


1.有时候训练集数据中有一些异常点（ outlier )  ，如果考虑它们,决策边界的效果就不好了
paste-113004884525059.jpg
  1. 为了解决这个问题， 可以对每个样本点paste-63836098920451.jpg引进一个松弛变量paste-63818919051267.jpg，将约束条件变为图paste-63861868724227.jpg，注意每个paste-123381525512195.jpg是不一样的,同时，更改目标函数，则最终为求解优化问题：
图paste-132843338465283.jpg
C>0称为 惩罚参数 ，C值大的时候对误分类的惩罚增大，C值小的时候对误分类的惩罚减小
  1. 仿照参考见第5课→SVM→4目标函数的求解硬间隔支持向量机，可以将2.中的原始优化问题转化为对偶优化问题如下：
paste-137267154780163.jpg
可以 发现软间隔SVM只是 给ai加上了一个上界。在对目标函数求解时，我们需要先选择惩罚参数C，后续步骤则与硬间隔SVM求解相同。
  1. 软间隔支持向量机的支持向量
    1. 在线性不可分的情况下，对偶问题中对应于paste-172086454648835.jpg的样本点称为支持向量（软间隔的支持向量）。
    2. 通过paste-116737211105283.jpg及paste-121337121079299.jpg，可以知道支持向量到间隔边界的距离是图paste-168156559572995.jpg
    3. 软间隔的支持向量或者在间隔边界上，或者在间隔边界与分离超平面之间， 或者在分离超平面误分一侧 
      1. 若图ai*<C,则paste-150027502616579.jpg记忆：当ai<C时说明ai没有固定，满足0<ai<C就可以，在非软间隔中，ai也可以取很多大于0的值，因此这里paste-261761076822019.jpg=0和非软间隔相同，支持向量xi恰好落在间隔边界上； 
      2. 若图ai*=C，paste-152673202470915.jpg,则分类正确，xi在间隔边界与分离超平面之间； 
      3. 若图ai*=C,paste-155714039316483.jpg,则xi在分离超平面上； 
      4. 若图ai*=C,paste-157225867804675.jpg,则xi位于分离超平面误分一侧。 
paste-176480206192643.jpg







posted on 2018-10-08 08:26 LeisureZhao 阅读(...) 评论(...) 编辑 收藏

LeisureZhao
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
最新版 native-image-installable-svm-java17-windows-amd64-22.3.0.jar
12-16
最新版 native-image-installable-svm-java17-windows-amd64-22.3.0.jar最新版 native-image-installable-svm-java17-windows-amd64-22.3.0.jar最新版 native-image-installable-svm-java17-windows-amd64-22.3.0....
吴恩达老师机器学习记录----SVM第三步：硬间隔和软间隔问题的求解
wang2011210219的博客
08-16 2520
硬间隔 首先描述硬间隔问题，我们记为式(1)： $$\min_{w,b} \frac{1}{2}||w||^2 \tag{1}$$ $$st. \quad y^{(i)}(w^Tx^{(i)}+b) \ge 1$$ 构造拉格朗日乘子： $$L(w,b,\alpha) = \frac{1}{2}||w||^2 + \sum_{i=1}^m \alpha_i [1-y^{(i)}(w^Tx^...
机器学习，详解SVM软间隔与对偶问题
TechFlow的博客
09-09 2158
今天是机器学习专题的第34篇文章，我们继续来聊聊SVM模型。 我们在上一篇文章当中推导了SVM模型在硬间隔的原理以及公式，最后我们消去了所有的变量，只剩下了α\alphaα。在硬间隔模型当中，样本是线性可分的，也就是说-1和1的类别可以找到一个平面将它完美分开。但是在实际当中，这样的情况几乎是不存在的。道理也很简单，完美是不存在的，总有些样本会出错。 那针对这样的问题我们应该怎么解决呢？ 软间隔 在上文当中我们说了，在实际的场景当中，数据不可能是百分百线性可分的，即使真的能硬生生地找到这样的一个分隔平面区分
一文详解SVM的Soft-Margin机制
红色石头的专栏
05-10 5359
AI有道一个有良心的公众号Hard-Margin SVM，必须将所有的样本都分类正确才行。这往往需要更多更复杂的特征转换，甚至造成过拟合。本文将介绍一种Soft-Marg...
【机器学习】今天详细谈下Soft Margin SVM和 SVM正则化
zenRRan的博客
03-11 2272
导读 昨天详细谈了谈最简单的SVM，相比较于今天要讲的Soft Margin SVM来说，昨天讲的其实是Hard Margin SVM，没看过的朋友们可以点击这里： 【机器学习】今天想跟大家聊聊SVM 为什么提出Soft Margin SVM 还是举一个例子吧 该点属于蓝色类别，所以决策线如图所示。但是这个决策边界如果运用到现实环境中的话，肯定会有很大的误分类点。也就是该分类线...
soft margin是什么
最新发布
m0_57236802的博客
11-23 58
软间隔SVM还引入了一个惩罚参数 C，用于平衡间隔的宽度和分类误差之间的权衡。较小的 C 值允许更多的分类误差，使模型更加鲁棒，但可能导致较大的泛化误差；：软间隔SVM引入了所谓的松弛变量（通常表示为 ξ, xi），允许某些数据点位于分割超平面的错误一侧。每个松弛变量表示其对应的数据点违反分割原则的程度。：软间隔SVM的优化目标不仅是最大化间隔，还包括最小化分类误差（即松弛变量的总和）。总的来说，软间隔SVM通过允许一定程度的分类误差，提供了一种有效的方式来处理现实世界中常见的复杂和非理想数据集。
SVM.rar_SVM_SVM-KMExample_SVM.dll_svm-som
09-24
著名的SVM，经过某高人编写后，给加以图形界面
svm-coder.rar_C-SVM_svm c++
07-14
适合svm的初学者，通过本代码的练习，可以使初学者对c-svm进行分类有一个感性认识。
SVM-RFE algorithm：SVM-RFE算法.pdf
07-11
SVM-RFE algorithm：SVM-RFE算法.pdf
SVM-RFE.rar_RFE算法_SVM_SVM-RFE matlab_SVM-RFE算法流程_基因选择
07-15
基因选择算法 SVMRFE 基因选择算法 SVMRFE 基因选择算法 SVMRFE
使用 python手动实现了SVM支持向量机 核函数 软间隔
06-01
使用python手动实现了SVM支持向量机，包括其中二次规划的求解（调用cvxopt包），实现了软间隔及核技术，以及对数据集及分类效果的可视化！建议配合我的SVM PPT一起学习SVM 不是直接调用sklearn的SVM！！
SVM(2)——soft-margin(软间隔)
方悔读书迟
04-10 1308
hard-margin就是，一组数据样本是可以实现线性可分 soft-margin就是，数据样本不是实际的线性可分，而是近似线性可分（可能有噪点）
72-Soft Margin和SVM的正则化
qq_41033011的博客
10-22 480
Soft Margin和SVM的正则化   上一篇博客介绍了 Hard Margin SVM，这篇博客主要介绍怎样在 Hard Margin SVM 改进为 Soft Margin SVM。   下面来看看什么是 Soft Margin SVM？   对于 Hard Margin SVM，其实是求解这样一个有条件的最优化问题。      但是之前的例子存在一个问题，如果有一个蓝色的点靠近红色点的区域，对于 Hard Margin SVM 来说，首先它要保证能够正确的分出这两类。      那么在这种情
SVM学习笔记（二）——软间隔（soft-margin）
姚巨龙的博客
12-21 1394
SVM学习笔记（二）——软间隔（soft-margin）软间隔软间隔优化目标函数优化目标函数替代损失函数软间隔支持向量机 软间隔 软间隔是相对于硬间隔定义的。 在上一篇文章：学习笔记（一）中的SVM算法是线性可分的SVM算法，属于硬间隔。 所谓硬间隔，就是存在所有样本必须划分正确的约束条件，即所有样本必须严格满足： 而对于软间隔，则是允许某些样本不满足以上约束条件。 硬间隔要求间隔之间不存在任...
soft-margin SVM
m0_37937932的博客
07-06 395
本篇文章讨论如何防止SVM的过拟合：kernel function参数的选取（转化函数太复杂）和资料完全separable的要求将会导致过拟合！ 一、primal soft-margin SVM 也许资料中含有Noise，资料本身就不是separable的，利用pocket演算法的思路，对于不完全可分的资料，我们只希望在学得的hypothesis上，资料犯的错误越少越好，因此可得到新的优化目标函...
SVM学习笔记-软间隔SVM
XuShuai
08-12 2万+
回顾 在上一篇中记录了Kernel SVM，利用核函数使得我们可以通过对偶形式的SVM解决非线性的问题，例如使用高斯核函数可以在无限维度的空间中寻找超平面。但是正如我们之前说到过的，高斯SVM在参数选择的不恰当的时候，也会出现overfit的情况。为什么SVM也会出现overfit的情况呢？一个原因可能是因为我们选择的特征转化太过于powerful，就算存在最大间隔的限制，最终也还是会出现过拟合
损失函数改进之Large-Margin Softmax Loss
热门推荐
AI之路
08-08 3万+
最近几年网络效果的提升除了改变网络结构外，还有一群人在研究损失层的改进，这篇博文要介绍的就是较为新颖的Large-Margin softmax loss（L-softmax loss）。Large-Margin softmax loss来自ICML2016的论文：Large-Margin Softmax Loss for Convolutional Neural Networks 论文链接：htt
机器学习——SVM(4 Soft-Margin SVM)
daocaoren_的博客
07-24 982
Soft-Margin 的含义 所谓的Hard-Margin,就是指所有的资料都要完全分开，即separable,这是SVM产生过拟合的原因之一(还有一个原因就是过于复杂的转换 Φ\PhiΦ)。 所以引入Soft-Margin, 即不必让所有的资料都完全分开，让SVM容许一部分的错误分类点的存在，从而在一定程度上减少过拟合，即要在large margin 和错误分类点容忍度（noise toler...
1. ARIMA 2. SARIMA 3. VAR 4. Auto-ARIMA 5. Auto-SARIMA 6. LSTM 7. GRU 8. RNN 9. CNN 10. MLP 11. DNN 12. MLP-LSTM 13. MLP-GRU 14. MLP-RNN 15. MLP-CNN 16. LSTM-ARIMA 17. LSTM-MLP 18. LSTM-CNN 19. GRU-ARIMA 20. GRU-MLP 21. GRU-CNN 22. RNN-ARIMA 23. RNN-MLP 24. RNN-CNN 25. CNN-ARIMA 26. CNN-MLP 27. CNN-LSTM 28. CNN-GRU 29. ARIMA-SVM 30. SARIMA-SVM 31. VAR-SVM 32. Auto-ARIMA-SVM 33. Auto-SARIMA-SVM 34. LSTM-SVM 35. GRU-SVM 36. RNN-SVM 37. CNN-SVM 38. MLP-SVM 39. LSTM-ARIMA-SVM 40. LSTM-MLP-SVM 41. LSTM-CNN-SVM 42. GRU-ARIMA-SVM 43. GRU-MLP-SVM 44. GRU-CNN-SVM 45. RNN-ARIMA-SVM 46. RNN-MLP-SVM 47. RNN-CNN-SVM 48. CNN-ARIMA-SVM 49. CNN-MLP-SVM 50. CNN-LSTM-SVM 51. CNN-GRU-SVM 52. ARIMA-RF 53. SARIMA-RF 54. VAR-RF 55. Auto-ARIMA-RF 56. Auto-SARIMA-RF 57. LSTM-RF 58. GRU-RF 59. RNN-RF 60. CNN-RF 61. MLP-RF 62. LSTM-ARIMA-RF 63. LSTM-MLP-RF 64. LSTM-CNN-RF 65. GRU-ARIMA-RF 66. GRU-MLP-RF 67. GRU-CNN-RF 68. RNN-ARIMA-RF 69. RNN-MLP-RF 70. RNN-CNN-RF 71. CNN-ARIMA-RF 72. CNN-MLP-RF 73. CNN-LSTM-RF 74. CNN-GRU-RF 75. ARIMA-XGBoost 76. SARIMA-XGBoost 77. VAR-XGBoost 78. Auto-ARIMA-XGBoost 79. Auto-SARIMA-XGBoost 80. LSTM-XGBoost 81. GRU-XGBoost 82. RNN-XGBoost 83. CNN-XGBoost 84. MLP-XGBoost 85. LSTM-ARIMA-XGBoost 86. LSTM-MLP-XGBoost 87. LSTM-CNN-XGBoost 88. GRU-ARIMA-XGBoost 89. GRU-MLP-XGBoost 90. GRU-CNN-XGBoost 91. RNN-ARIMA-XGBoost 92. RNN-MLP-XGBoost 93. RNN-CNN-XGBoost 94. CNN-ARIMA-XGBoost 95. CNN-MLP-XGBoost 96. CNN-LSTM-XGBoost 97. CNN-GRU-XGBoost 98. ARIMA-ANN 99. SARIMA-ANN 100. VAR-ANN 上面这些缩写模型的全称及相关用途功能详细解释
07-15
以下是对缩写模型的全称及相关用途功能的详细解释： 1. ARIMA (AutoRegressive Integrated Moving Average): 适用于平稳时间序列数据的预测，结合了自回归 (AR) 和移动平均 (MA) 的模型。 2. SARIMA (Seasonal ARIMA): 在ARIMA模型基础上添加了对季节性因素的建模，适用于带有季节性的时间序列数据的预测。 3. VAR (Vector Autoregression): 用于多变量时间序列数据的预测，基于自回归模型，能够捕捉变量之间的相互依赖关系。 4. Auto-ARIMA: 自动选择ARIMA模型的参数，通过对多个模型进行评估和选择来实现自动化。 5. Auto-SARIMA: 自动选择SARIMA模型的参数，通过对多个模型进行评估和选择来实现自动化。 6. LSTM (Long Short-Term Memory): 长短期记忆网络，一种适用于处理长期依赖关系的循环神经网络，用于时间序列数据的建模和预测。 7. GRU (Gated Recurrent Unit): 一种类似于LSTM的循环神经网络，具有更简化的结构，适用于时间序列数据的建模和预测。 8. RNN (Recurrent Neural Network): 适用于处理序列数据的神经网络模型，能够捕捉时间序列的动态特性。 9. CNN (Convolutional Neural Network): 卷积神经网络，主要用于图像处理，但也可以用于时间序列数据的预测，特别擅长局部模式的识别。 10. MLP (Multi-Layer Perceptron): 多层感知机，一种前馈神经网络模型，适用于处理非线性关系的时间序列数据。 11. DNN (Deep Neural Network): 深度神经网络，具有多个隐藏层的神经网络模型，能够学习更复杂的特征表示。 12. MLP-LSTM: 结合了多层感知机和长短期记忆网络的模型，用于时间序列数据的建模和预测。 13. MLP-GRU: 结合了多层感知机和门控循环单元网络的模型，用于时间序列数据的建模和预测。 14. MLP-RNN: 结合了多层感知机和循环神经网络的模型，用于时间序列数据的建模和预测。 15. MLP-CNN: 结合了多层感知机和卷积神经网络的模型，用于时间序列数据的建模和预测。 这些模型可以根据具体问题和数据的特性来选择和使用，以获得最佳的时间序列预测性能。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值