林轩田《机器学习基石》课程笔记第七章-VC Dimension

最新推荐文章于 2024-07-25 12:32:58 发布
最新推荐文章于 2024-07-25 12:32:58 发布
阅读量107 收藏
点赞数
文章标签： 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/f_jiaqi/article/details/113985731
版权

林轩田《机器学习基石》课程笔记7-VC Dimension

一、概念

VC Dimension就是某假设集H能够shatter的最多的input的个数，即最大完全正确的分类能力。（也就是K-1，K为最小的break point）

在这里插入图片描述
由此可知一个VC-Dimension有限的假设函数集H，就是好的H。

二、VC Dimension of Perceptrons

证明两个不等式：
1、dvc<=d+1
2、dvc>=d+1
结论：dvc=d+1

三、Physical Intuition of VC Dimension

在这里插入图片描述
w又名features，即自由度，自由度是可以任意调节的，VC Dimension代表了假设空间的分类能力，即反映了H的自由度，产生dichotomy的数量，也就等于features的个数。

四、Interpreting VC Dimension

在这里插入图片描述
由之前的不等式推导出EOUT的上限。
在这里插入图片描述

model complexity即上不等式最右边项，可以得知并不是dvc越大能得到越好的效果。大致总结如下：
在这里插入图片描述
注：笔记参考作者：红色石头

f_jiaqi
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
林轩田-机器学习基石 课堂笔记（六）Theory of Generalzation
sinat_33397120的博客
02-21 364
1、Restriction of Break Point回顾一下之前学习到的定5义①成长函数mH(N)：假设空间在N个样本点上能产生的dichotomy数量，即样本点在二元分类下的组合情况。②突破点（Break Point）：不能满足完全分类情形（shattered：即N个点所有组合情况都出现）的样本点个数，即不可分出2^N种dichotomy。之前我们学习了四种情况下的成长函数及它们的Break...
机器学习和数据挖掘（6）：雷蒙保罗MAPA泛化理论
Mr.Phoebe的专栏
07-22 1900
泛化理论上一章中提到的生长函数mH(N)m_{\mathcal H}(N)的定义：假设空间在NN个样本点上能产生的最大二分（dichotomy）数量，其中二分是样本点在二元分类情况下的排列组合。上一章还介绍了突破点（break point）的概念，即不能满足完全分类情形的样本点个数。不存在kk个样本点能够满足完全分类情形，完全二分类情形（shattered）是可分出2N2^N种二分类（dichoto
机器学习基石（林轩田）第七章 笔记与感悟总结
Jason__Liang的博客
05-25 608
7.1 The VC Dimension - Definition of VC Dimension我们上个周证明了Ein 约等于 Eout ，即测试的表现和训练的表现相似。在成长函数在某个地方有break point 和 N足够大的时候。意义在于之后介绍的VC维度。我们以后就不用B（N，k）这种麻烦的写法了，只需要使用N^(k-1)这种简单的写法。因为N^(k-1)是最大的上限。vc bound，...
机器学习理论 - 无限假设空间复杂度
JohnSon
05-15 625
PAC可学性与假设空间H\mathcal{H}H复杂度密切相关。假设空间H\mathcal{H}H越复杂，寻找到目标概念的难度越大。对于有限假设空间，可以用其中包含假设的数据来刻画假设空间的复杂度。 然而对于大多数学习问题来说， 学习算法考虑的假设空间并非是有限的，因而无法使用假设的数量来刻画假设空间复杂度。 有以下两种方法可以刻画无限假设空间的复杂度: 与数据分布D\mathcal{D}D无关的VC维及其扩展 Natatajan维 与数据分布D\mathcal{D}D相关的Rademacher维 VC
机器学习中的VC维数和分类
Machine Learning with Tutors
12-22 6743
VC维数 学习VC维要先知道的概念有：增长函数（growth function）、对分（dichotomy）、打散（shattering）和断点（break point） 1.增长函数 增长函数表示假设空间H对m个示例所能赋予标记的最大可能结果数。 比如说现在数据集有两个数据点，考虑一种二分类的情况，可以将其分类成A或者B，则可能的值有：AA、AB、BA和BB，
机器学习 | 台大林轩田机器学习基石课程笔记7 --- The VC Dimension
sdu_hao的博客
10-14 351
课程主页 课程视频和PPT 前几节课着重介绍了机器能够学习的条件并做了详细的推导和解释。机器能够学习必须满足两个条件： 假设空间H的Size M是有限大的，即当N(D的大小)足够大时，那么对于假设空间中任意一个假设h，有. 利用演算法A从假设空间H中，挑选一个最好的h，记为g，使得,则。 这两个条件，正好对应着test和trian两个过程。train的目的是使损失期望;；test的目的是使...
机器学习 | 台大林轩田机器学习基石课程笔记15 --- Validation
sdu_hao的博客
10-18 505
课程主页 课程视频和PPT 上节课我们主要讲了为了避免overfitting，可以使用regularization方法来解决。在之前的上加上一个regularizer，生成,将其最小化，这样可以有效减少模型的复杂度，避免过拟合现象的发生。那么，机器学习领域还有许多选择，如何保证训练的模型具有良好的泛化能力？本节课将介绍一些概念和方法来解决这个选择性的问题。 目录 1. Model Sele...
台湾大学林轩田机器学习基石课程学习笔记7 -- The VC Dimension
红色石头的专栏
05-05 9325
我的CSDN博客地址：红色石头的专栏 我的知乎主页：红色石头 我的微博：RedstoneWill的微博 我的GitHub：RedstoneWill的GitHub 我的微信公众号：红色石头的机器学习之路（ID：redstonewill） 欢迎大家关注我！共同学习，共同进步！ 前几节课着重介绍了机器能够学习的条件并做了详细的推导和解释。机器能够学习必须满足两个条...
林轩田《机器学习基石》课程笔记7 -- The VC Dimension1
08-03
在林轩田的《机器学习基石》课程中，提到VC Dimension与模型的泛化能力紧密相关。如果一个假设空间有break point k，这意味着在k个输入点上，这个假设空间的成长函数是有界的。成长函数描述了随着输入点数量增加，...
台湾大学林轩田机器学习基石笔记_红色石头pdf
05-12
《台湾大学林轩田机器学习基石笔记》是由著名学者林轩田教授编著的一份深入浅出的机器学习教程，这份资源因其详实的内容和易读性被广大学习者推崇，尤其是红色石头版本更是其中的精华。PDF格式的文档不仅方便了读者...
台大林轩田机器学习基石资源汇总 精炼笔记.zip
01-06
《台大林轩田机器学习基石资源汇总》是一份针对机器学习基础知识的综合学习资料，由台湾大学的林轩田教授提供。这份精炼笔记涵盖了机器学习领域的重要概念、算法和应用，旨在帮助学习者系统地理解和掌握机器学习的...
林轩田《机器学习基石》课程笔记10 -- Logistic Regression1
08-03
《机器学习基石》课程笔记10 -- Logistic Regression1主要探讨了逻辑回归（Logistic Regression）这一重要的二分类算法。逻辑回归是一种线性模型，但它的输出不再是连续的实数值，而是用于解决离散的二分类问题，即...
台湾大学林轩田机器学习基石课程学习笔记2+--+Learning+to+Answer+Yes-No1
08-03
"台湾大学林轩田机器学习基石课程"中的"Learning to Answer Yes-No1"部分，主要讲解了一个基础的二分类问题——银行信用卡发放决策。银行基于用户的特征（如年龄、性别、年收入等）决定是否给予信用卡，这可以通过...
从零开始学习机器学习，掌握AI未来的关键！
qq_42538588的博客
07-25 1099
欢迎来到"人工智能-机器学习基础"！在本文中，我们将一起探索人工智能的奇妙世界。首先，让我们来介绍一下人工智能的概述。人工智能（Artificial Intelligence）是一门研究如何使机器具备智能能力的科学与技术。简单来说，它是能够像人类一样思考、学习和决策的机器。人工智能可以追溯到上个世纪50年代，当时科学家们就开始尝试模仿和理解人类的思维过程。然而，由于当时计算机技术的限制，人工智能的发展并不顺利。直到最近几年，随着计算能力的迅猛增长和大数据的普及，人工智能取得了巨大突破。
【机器学习】深入理解损失函数(Loss Functions)
鑫宝的博客
07-24 1786
在监督学习任务中,我们通常会构建一个模型来预测输入数据的目标值。模型的输出值通常会与真实的目标值存在一定差距,这种差距就是我们所说的"损失"(Loss)。损失函数的作用就是对这种差距进行量化,将其转化为一个可计算的数值。具体来说,损失函数是一个函数,它接受模型的预测值和真实值作为输入,输出一个非负实数,表示预测值与真实值之间的差距程度。我们的目标是找到一个模型,使得其在训练数据和测试数据上的损失函数值最小。LyyiL(y,y_i)Lyyi​其中,y表示真实值,y_i表示模型的预测值,
mpu6050陀螺仪使用方法开发教程文档.docx
07-30
mpu6050陀螺仪使用方法
【SCI顶级】龙格库塔算法RUN-CNN-LSTM-Multihead-Attention温度预测【含源码 5747期】.zip
07-30
CSDN海神之光上传的全部代码均可运行，亲测可用，直接替换数据即可，适合小白； 1、代码压缩包内容 主函数：Main .m； 数据； 调用函数：其他m文件；无需运行 运行结果效果图； 2、代码运行版本 Matlab 2019b；若运行有误，根据提示修改；若不会，可私信博主； 3、运行操作步骤 步骤一：将所有文件放到Matlab的当前文件夹中； 步骤二：双击打开除Main.m的其他m文件； 步骤三：点击运行，等程序运行完得到结果； 4、仿真咨询 如需其他服务，可私信博主或扫描博主博客文章底部QQ名片； 4.1 CSDN博客或资源的完整代码提供 4.2 期刊或参考文献复现 4.3 Matlab程序定制 4.4 科研合作 智能优化算法-CNN-LSTM-Mutilhead-Attention回归预测系列程序定制或科研合作方向： 4.4.1 遗传算法GA/蚁群算法ACO-CNN-LSTM-Mutilhead-Attention回归预测 4.4.2 粒子群算法PSO/蛙跳算法SFLA-CNN-LSTM-Mutilhead-Attention回归预测 4.4.3 灰狼算法GWO/狼群算法WPA-CNN-LSTM-Mutilhead-Attention回归预测 4.4.4 鲸鱼算法WOA/麻雀算法SSA-CNN-LSTM-Mutilhead-Attention回归预测 4.4.5 萤火虫算法FA/差分算法DE-CNN-LSTM-Mutilhead-Attention回归预测
大模型的数学之魂：统计学习理论精要
07-30
大型机器学习模型，通常简称为“大模型”，是指具有数十亿甚至数千亿参数的深度神经网络模型。这些模型因为其庞大的参数量和复杂的计算结构，能够处理非常复杂的任务和数据，展现出强大的表达能力和预测性能。大模型在自然语言处理、计算机视觉、语音识别和推荐系统等多个领域都有广泛的应用。 大模型的设计目的是通过训练海量数据来学习复杂的模式和特征，从而具备强大的泛化能力，能够对未见过的数据做出准确的预测。与参数较少、层数较浅的小模型相比，大模型虽然需要更多的计算资源和时间来训练和推理，但它们展现出了一种被称为“涌现能力”的特性，即从原始训练数据中自动学习并发现新的、更高层次的特征和模式。 大模型的发展历程可以分为几个阶段，从早期的卷积神经网络模型发展到以Transformer为代表的全新神经网络模型，再到当前以GPT为代表的预训练大模型阶段。Transformer架构因其自注意力机制而成为大模型的核心技术，它使得模型能够更好地理解和处理文本数据中的长距离依赖关系。 大模型的分类主要包括语言大模型（NLP）、视觉大模型（CV）和多模态大模型。语言大模型专注于处理文本数据和理解自然语言，而视觉大模型用
唯美淡雅四页.zip
最新发布
07-30
【简历模板】工作总结、商业计划书、述职报告、读书分享、家长会、主题班会、端午节、期末、夏至、中国风、卡通、小清新、岗位竞聘、公司介绍、读书分享、安全教育、文明礼仪、儿童故事、绘本、防溺水、夏季安全、科技风、商务、炫酷、企业培训、自我介绍、产品介绍、师德师风、班主任培训、神话故事、巴黎奥运会、世界献血者日、防范非法集资、3D快闪、毛玻璃、人工智能等等各种样式的ppt素材风格。 设计模板、图片素材、PPT模板、视频素材、办公文档、小报模板、表格模板、音效配乐、字体库。 广告设计：海报，易拉宝，展板，宣传单，宣传栏，画册，邀请函，优惠券，贺卡，文化墙，标语，制度，名片，舞台背景，广告牌，证书，明信片，菜单，折页，封面，节目单，门头，美陈，拱门，展架等。 电商设计：主图，直通车，详情页，PC端首页，移动端首页，钻展，优惠券，促销标签，店招，店铺公告等。 图片素材：PNG素材，背景素材，矢量素材，插画，元素，艺术字，UI设计等。 视频素材：AE模板，会声会影，PR模板，视频背景，实拍短片，音效配乐。 办公文档：工作汇报，毕业答辩，企业介绍，总结计划，教学课件，求职简历等PPT/WORD模板。
台湾大学林轩田《机器学习基石》课程精华
《机器学习基石》课程是一门全面而深入的机器学习入门课程，它不仅涵盖了机器学习的基础理论，还强调了实践应用和关键技能的掌握，是学习机器学习的理想起点。对于希望进入这个领域的学习者来说，这门课程提供了坚实...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值