VC维的几个习题

最新推荐文章于 2020-12-04 17:53:07 发布
最新推荐文章于 2020-12-04 17:53:07 发布
阅读量2k 收藏 2
点赞数
分类专栏： Machine Learing
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/PKU_ZZY/article/details/75402769
版权
这篇博客探讨了VC维在线性分类假设空间中的应用，指出VCH(Rd)等于d+1。通过组合极值问题的分析，证明了这一结论。此外，还讨论了一个涉及VC维和增长函数的不等式，并介绍了如何利用这个不等式估计PAC学习所需的样本数量与VC维的关系。
摘要由CSDN通过智能技术生成

VC维的几个习题

线性分类假设空间的VC维

V C H ( R d ) = d + 1 VC_H(R^d)=d+1 VCH​(Rd)=d+1，H为线性假设空间。

这是西瓜书上的一个习题，在学习计算理论的时候我也在博客上记过这个结论，二维的线性空间VC维为3，(4的时候异或类的标号就打不散)也十分显然，但是推广情形的证明和构造需要一定技巧。

把这个问题看作组合极值问题:

等号成立部分
这里写图片描述

极值证明部分:
这里写图片描述

综上，VC维为d+1维。

一个关于VC维和增长函数的不等式

Π H ( m ) ≤ ( e m V C H (

最低0.47元/天 解锁文章
pku_zzy
关注
专栏目录
VC维（VC dimension）
My Sunshine
08-05 1万+
参考文献：learning from data——Yaser S. Abu-Monstafa/ Malik Magdon-Ismail / Hsuan-Tien Lin
机器学习系列1---VC维问题
qq_35667901的博客
04-27 723
VC维是机器学习中用于表示机器学习能力的一个重要指标，其大小表示函数集或学习机的复杂性。在介绍一个模型VC维之前需要简要介绍一下数据“Shater（打散）”概念： Lemma 1: 对于一个函数集S，如果存在 h 个样本，能够被S中的函数以所有可能的形式分为两类，则称该函数集能够把 h 个样本打散。 Lemma 2: 一个函数集的VC维是指它能够打散的最大样本数 h ，即能够被集...
PAC增长函数与VC维极简例子
minfanphd的博客
07-10 820
PAC增长函数与VC维极简例子动机例1：一个分割点例2：两个分割点 动机 从组合的方式，计算学习模型的表达能力。表达能力越强的模型越复杂。 例1：一个分割点 如图1所示，输入空间为实数轴。假设学习模型为一个分割点（一维上的分割超平面），将负类（三角形）与正类（圆形）分开。计算增长函数： 对于m个数据而言，分割点d有m + 1个位置可选（两邻两个数据之间只能算一个位置）。 分割点d左右可以是正/负，也可以是负/正，因此有2(m+1)种分类方式 d在最左边和最右边，均表示所有的样本预测为同一类，因此有2种重复
机器学习之----VC维理论基础及证明
weixin_30418341的博客
04-02 395
VC理论证明通过一系列的求上限，获得了针对所有目标函数、及所有训练数据集的一个上限公式，对机器学习有着重要意义！但是正也是因为如次多的上限，所以该值对指导实践只是一种最坏的参考，还有太多的假设集求不出VC维来。可以看到证明过程极具技巧性，巧妙的将无穷转化为有限，再找到了界。 在VC维理论证明中涉及成长函数、打散等重要概念，不少朋友在理解中或许不知所云，或许存在误差（包括作者本人亦是如此）。通过本...
vc维的笔记（上）。。。。
abc15766228491的博客
03-10 1045
之前听《机器学习基石》课程，里面涉及了一个非常重要的概念：VC维。一直搞不太懂，这次下决心将其背后的数学意义和物理意义搞清楚。。。。 这里参考资料：http://www.flickering.cn/machine_learning/2015/04/vc%E7%BB%B4%E7%9A%84%E6%9D%A5%E9%BE%99%E5%8E%BB%E8%84%89/?utm_medium=soci...
学习理论-VC维
myazi
09-15 553
学习理论 1、基本概念 2、PAC理论 3、VC维 4、极大似然，最大后验概率，贝叶斯估计 5、模型评估与评价指标 6、模型诊断调参 三、VC维 ​ 在PAC理论中，我们用假设空间的取值NNN来描述模型的复杂度，然而很多时候假设空间的取值是无限的，比如线性模型中模型属于连续空间，我们无法用取值来衡量模型的复杂度，VC维的主要价值在于用VC维（维度）衡...
数控车床编程与操作-编程练习题.doc
07-14
《数控车床编程与操作-编程练习题》文档主要涵盖了数控车削加工技术的基础和进阶实例，旨在帮助学习者掌握数控车床的编程与操作技能。以下将详细阐述其中涉及的重要知识点： 一、数控车削技术入门 这部分内容包括了...
vc ++ 习题 答案
02-23
在解答中，可能会涵盖以下几个核心的VC++知识点： 1. **基础语法**：包括C++的基本数据类型、变量声明、运算符、流程控制语句（如if-else、switch、for、while）等。 2. **函数**：函数的定义、调用、参数传递，...
C_ppt.rar_VC书籍_Visual_C++_
08-12
C语言的学习通常分为以下几个关键章节： 1. **基本概念**：介绍C语言的历史、特点，以及编程环境的设置，包括如何使用编辑器、编译器（如GCC或Visual C++）等。 2. **数据类型**：讲解整型、浮点型、字符型等基本...
计算机图形学——基于MFC三维图形开发 孔令德版
03-06
本课程的核心内容可能包括以下几个方面： 1. **基础概念**：首先，课程可能会介绍计算机图形学的基本概念，如坐标系统、向量与矩阵运算、色彩理论等，这些都是进行图形编程的基础。 2. **MFC框架**：学习如何在MFC...
Machine Learning in Action:KNN Algorithm
绿箭侠
03-02 292
概述 对于分类问题，最主要的任务就是找到对应数据合适的分类。而机器学习的另一项任务就是回归，比如CTR预测之类的。ml算法按照有无label可以分为有监督学习和无监督学习，对于无监督学习的算法比较经典的有聚类算法，有监督的相对来说较多，回归类算法基本都是的。按照参数有可以划分成有参数模型和无参数模型和半参数模型，有参数模型有两个特征，一个是用参数代表从训练...
[机器学习] 一些题目
lady_lili的博客
08-30 6446
类域界面方程法中，不能求【线性不可分情况】下分类问题近似或精确解的方法是？(D) A 伪逆法-径向基（ＲＢＦ）神经网络的训练算法，就是解决线性不可分的情况 B 基于二次准则的H-K算法：最小均方差准则下求得权矢量，二次准则解决非线性问题 C 势函数法－非线性 D 感知器算法－线性分类算法   Fisher 线性判别函数的求解过程是将N维特征矢量投影在（）中进行求解？ 线性，当然一维
机器学习-周志华-个人练习12.4
qilixuening的博客
05-21 1373
12.4 试证明，Rd\mathbb R^d空间中线性超平面构成的假设空间的VC维是d+1。本题参考了四去六进一的一些想法，用自己的想法更加详细地描述出来。首先，我们假设在Rd\mathbb R^d空间中存在一组正交单位向量，使得此空间内任意一点的坐标可以表示为(x1,x2,…,xd)T(x_1,x_2,\ldots ,x_d)^\rm T，不失一般性地，选取坐标原点(0,…,0)(0,\ldots
决策树分类器vc维如何计算_《机器学习》西瓜书读书笔记：「第十二章： 计算学习理论」...
weixin_39717029的博客
12-04 618
写在前面：西瓜书可谓国内机器学习近年最优秀的专业书籍之一。本文以及本系列是笔者阅读南京大学周志华先生所著《机器学习》一书及书中提到的论文所做的每章总结与归纳。本作自学、记录之用，若能为大家的学习提供方便则是笔者荣幸。转载请注明出处，相关问题友好讨论。本章介绍计算学习理论。12.1 基础知识计算学习理论（Computational Learning Theory）：通过计算来进行机器学习的理论，即分...
决策树分类器vc维如何计算_决策树与聚类分析
weixin_39575047的博客
11-23 199
一.本周分享内容 决策树 随机决策森林 K-MEANS聚类分析二.个人见解1.决策树1.1决策树主要思想决策树(Decision Tree）是在已知各种情况发生概率的基础上，通过构成决策树来求取净现值的期望值大于等于零的概率，评价项目风险，判断其可行性的决策分析方法，是直观运用概率分析的一种图解法。由于这种决策分支画成图形很像一棵树的枝干，故称决策树。在机器学习中，决策树是一个预测模型，他代表的是...
VC维
TH_NUM的博客
06-02 7217
为什么引入VC维 PAC中以|H |来刻画样本复杂度,它存在以下不足:可能导致非常弱的边界;对于无限假设空间的情形, 1/b*(log2(|H|)+log2(1/d))((2)式)根本无法使用。因此有必要引入另一度量标准VC 维。假设空间的VC 维, 用VCdim(H)表示, 被定义为最大的样本数d ,使得在所有可能的2 d 种二分(dichotomy)中,都能找到与该划分一致的一个假设。VC 维
机器学习（7）--VC维数
脑机接口社区
03-29 1519
90年代初，Vapnik and A. Chervonenkis提出了支持向量机(Support vector machines, SVM)和VC(Vapnik-Chervonenkis)维数的概念。 结合上次所说的，我们可以得到如下式子： Ein(g)与Eout(g)之差足够小，即大于一个阈值e(该希腊字母不好显示，暂用e代替)的几率小于右边的式子，这就是我们想要的hypothesis。
vc.net全方位教程 pdf
最新发布
12-21
这本书主要分为以下几个部分：第一部分介绍了vc.net的基础知识，包括环境搭建、语法规则等内容；第二部分详细介绍了vc.net的常用控件和组件，包括按钮、文本框、列表框等；第三部分介绍了vc.net的高级编程技巧，包括...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值