机器学习 之 SVM VC维度、样本数目与经验风险最小化的关系

最新推荐文章于 2023-08-05 21:39:56 发布
最新推荐文章于 2023-08-05 21:39:56 发布
阅读量4.4k 收藏 4
点赞数
分类专栏： 机器学习算法 文章标签： 样本数目 核函数 经验风险最小 VC维度 SVM
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u013630349/article/details/47312785
版权
经验风险最小化可能导致过拟合，为解决此问题引入置信范围，该范围与样本数n和VC维h相关。当n/h增大，置信范围减小，推广性增强。结构风险最小化兼顾分类精度和VC维，避免过学习。机器学习应寻求低VC维和适量样本数，以确保对未来样本的良好推广。
摘要由CSDN通过智能技术生成
        VC维在有限的训练样本情况下，当样本数 n 固定时，此时学习机器的 VC 维越高学习机器的复杂性越高。VC 维反映了函数集的学习能力，VC 维越大则学习机器越复杂(容量越大)。
        所谓的结构风险最小化就是在保证分类精度（经验风险）的同时，降低学习机器的 VC 维，可以使学习机器在整个样本集上的期望风险得到控制。

        经验风险和实际风险之间的关系，注意引入这个原因是什么？

        因为训练误差再小也就是在这个训练集合上，实际的推广能力不行就会引起过拟合问题。所以说要引入置信范围也就是经验误差和实际期望误差之间的关系

        期望误差R(ω) ≤ Remp (ω)+ Φ（n/h）

最低0.47元/天 解锁文章
稚枭天卓
关注
专栏目录
VC 维度（七）
云淡风轻，金石为开。
12-25 2999
这一章节非常重要，也是有点难度的 上节课我们知道，我们得到的一个结论是： 我们的假设函数的成长函数，它的break point 是K，那么成长函数是小于边界函数B（N，k）的，边界函数是，边界函数的最大值是N的k-1次方 那么我们把我们的B（N，K）的值和N的k-1次方的值列出来，会发现其实： 也就是说成长函数会被N的k-1次方所限定。 上节课我们还讲到说我们的任意一个假设函
7 - VC维度（VC Dimension）-- 衡量模型与样本的复杂度
weixin_33829657的博客
03-31 691
2019独角兽企业重金招聘Python工程师标准>>> ...
VC维度
weixin_30659829的博客
06-28 66
​由vc bound可以知道： $P(\exists h\in H~s.t~|E_{in}(h)-E_{out}(h)|>\epsilon)\\ \leq 4M_H(2N)exp(-\frac{1}{8}\epsilon^2N)\\ \leq 4(2N)^{k-1}exp(-\frac{1}{8}\epsilon^2N)~~~if~~\exists k$ 当break poin...
VC维
小村长技术blog
04-13 3534
有关于VC维可以在很多机器学习的理论中见到，它是一个重要的概念。在读《神经网络原理》的时候对一个实例不是很明白，通过这段时间观看斯坦福的机器学习公开课及相关补充材料，又参考了一些网络上的资料（主要是这篇，不过个人感觉仍然没有抓住重点），重新思考了一下，终于理解了这个定义所要传达的思想。 　　先要介绍分散(shatter)的概念：对于一个给定集合S={x1, ... ,xd}，如果一个假设类H能够
svm、经验风险最小化、vc维
keith0812的专栏
05-08 4003
“支持向量机方法是建立在统计学习理论的VC 维理论和结构风险最小原理基础上” 结构化风险 结构化风险 = 经验风险 + 置信风险 经验风险 =  分类器在给定样本上的误差 置信风险 = 分类器在未知文本上分类的结果的误差 置信风险因素： 样本数量，给定的样本数量越大，学习结果越有可能正确，此时置信风险越小；  分类函数的VC维，显然VC维越大，推广能力越差，置信风险会变大。
文本分类学习 （七）支持向量机SVM 的前奏 结构风险最小化和VC维度理论
Dacc123的博客
07-03 988
前言: 经历过文本的特征提取，使用LibSvm工具包进行了测试，Svm算法的效果还是很好的。于是开始逐一的去了解SVM的原理。 SVM 是在建立在结构风险最小化和VC维理论的基础上。所以这篇只介绍关于SVM的理论基础。 目录： 文本分类学习（一）开篇 文本分类学习（二）文本表示 文本分类学习（三）特征权重（TF/IDF）和特征提取 　　 文本分类学习（四）特征选择之卡方检验 文本分...
经验风险最小化(Empirical Risk Minization,ERM)
热门推荐
Duckie的博客
11-15 1万+
一、偏差方差权衡 1. 偏差与方差      回顾之前在讨论线性回归问题时，通常存在以下三种情况： 图1，用一条直线拟合一个呈现二次结构的散点，无论训练样本怎样增多，一次函数都无法准确地表示出二次函数。我们认为它具有高偏差（high bias），表现出欠拟合（underfit）。图3，用一条五次多项式函数来拟合数据，对于数据的结果，得到的仍然不是一个好的模型，算法拟合出了
机器学习——SVM(Support Vector Machine)
Flora的博客
03-19 769
这里写一下SVM，是为了帮助自己梳理本科的毕业设计。这可以说是一个完整的项目，从实验的设计，开展，完成到最后写论文、答辩，当时自己还是本科，现在回过头来看，还有很多细节理解得不是很深入。有一场面试问到这个项目的时候，就先让你介绍一下，然后问你为什么要用这个方法？我回答的是SVM更适合小样本，然后面试官就问我为什么SVM更适合小样本。我把SVM给解释了一下，说到了支持向量，可是答案似乎并没有让面试官...
支持向量机SVM基于结构风险最小化准则
03-17
Vapnik 提出的支持向量机（Support Vector Machine, SVM）以训练误差作为优化问题的约束条件，以置信范围值最小化作为优化目标，即SVM是一种基于结构风险最小化准则的学习方法，其推广能力明显优于一些传统的学习方法
机器学习的VC维度（机器学习基石）
qq_34993631的博客
01-31 8021
一个小问题引出的大思考 我们首先玩一个简单的找规律游戏 2 , 4 ...... 请问第三个数是多少，6？    8？     5？又或者是其它。假如我是一个命题人你的回答可能都对又可能都错。因为满足这样的规律事实上是有无穷个而不能想当然。看来机器学习在这个小的数据集上面跑是无法学到东西，无法做出预测的。就算是这道题的包装也可能只是规律更加复杂了，这样的题严格的来说是没有答案或者有无
数据维度和样本数量，当二者关系发生变化时的影响，数据维度过高时造成的问题
最新发布
weixin_46483785的博客
08-05 1926
然而，如果维度太低，可能会导致过拟合，模型在训练数据上表现良好，但在新数据上表现不佳。在高维数据中，模型可能更容易过拟合训练数据，即在训练数据上表现得很好，但在新数据上表现不佳。在实际应用中，应根据数据集的特点和问题的需求来确定合适的数据维度和样本数量。高维数据会导致计算复杂性的显著增加。例如，计算特征之间的距离、相似性或相关性时，随着维度的增加，计算量呈指数级增加，从而导致效率下降。高维数据中的样本分布可能变得非常稀疏，这意味着相同数量的样本在高维空间中会变得稀疏，从而使数据分析和模型训练变得更加困难。
机器学习——VC维问题
qq_53142796的博客
04-20 430
VC维在机器学习中的意义还是很大的，它是统计学习理论用来衡量函数集性能的一种指标——VC维越大，则学习过程越复杂。目前还没有通用的关于任意函数集VC维的计算理论，只知道一些特殊函数集的VC维。对于一个指示函数集，如果存在h个数据样本能够被函数集中的函数按所有可能的2^h 种形式分开 ，则称函数集能够把h个数据样本打散。，VC维越高的模型，能够表征的函数就越广泛，但由于数据的不足容易造成过拟合。若对任意数目的数据样本都有函数能将它们打散，则函数集的VC维为无穷大。模型的复杂度和灵活度。
VC维的一个理解
ningyanggege的博客
07-10 6451
从深度学习书中记录：统计学习理论提供了量化模型容量的不同方法。在这些方法中，最有名的是Vapnik-Chervonenkis维度，简称VC维。个人理解：这句话表明VC维用来衡量模型的容量，或者说是power，即模型的拟合能力；以VC 维度量二元分类器的容量，VC维定义为该分类器能够分类的训练样本的最大数目。假设存在m个不同的x点的训练集，分类器可以任意地标记该m个不同的x点，VC维被定义为m的最大...
NTU-Coursera机器学习:VC Bound和VC维度
松子茶的专栏
02-22 1万+
这一讲开篇再介绍一个界函数（bounding function）的概念.它提供了一个对机器学习结果可靠性的衡量，因为成长函数是N的多项式，所以BAD事件发生的概率随着N的增大而显著下降。需要强调的是，以上所讲的只适用于二元分类问题，因为我们在推导 break point、成长函数和边界函数时一直都基于二元分类这一前提.dichotomies数量的上限是成长函数.因为VC Bound对数据分布、目标函数、备选函数集、学习算法都没有要求，它牺牲了部分精确性，换来了无所不包的一般性。这使得VC Bound具有哲学
VC维的物理意义
丁磊_ml的博客
08-07 1612
vc维的物理意义
机器学习，VC维理解
Mark_Australia的博客
05-12 656
VC维度定义： 对于一个指示函数集，如果存在h个数据样本能够被函数集中的函数按所有可能的2^h 种形式分开 ， 则称函数集能够把h个数据样本打散（shatter）。函数集的VC维就是能打散的最大数据样本数目h。 若对任意数目的数据样本都有函数能将它们shatter，则函数集的VC维为无穷大。 VC维在机器学习中的意义还是很大的，它是统计学习理论用来衡量函数集性能的一种指标——VC维越大，则学习过程越复杂。 目前还没有通用的关于任意函数集VC维的计算理论，只知道一些特殊函数集的VC维。 可简.
理解SVM：VC维与结构风险最小化
"本文主要介绍了支持向量机（Support Vector Machine, SVM）的基本概念和理论基础，包括其在小样本、非线性及高维模式识别中的应用优势，以及统计学习理论中的VC维和结构风险最小化原则。" 支持向量机（SVM）是一种...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值