机器学习演算法 第六讲 Theory of Generalization——学习笔记

最新推荐文章于 2024-02-07 00:53:22 发布
最新推荐文章于 2024-02-07 00:53:22 发布
阅读量474 收藏
点赞数
分类专栏： Coursera 文章标签： coursera machine learning
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/miss_snow_m/article/details/44726505
版权

Restriction of Break Point

growth function mH(N): max number of dichotomies

mH(N) <= maximum possible mH(N) given k <= poly(N)

Bounding Function: Basic Cases

bounding function B(N,k):

maximum possible mH(N) when break point = k

Bounding Function: Inductive Cases

Bounding Function: The Theorem

B(N,k) <= sum (A(N,i)  i=[0,k)

A Pictorial Proof

That's All!

Vapni-Chervonenkis(VC) bound:

P [ h belongs to H | Ein(h) - Eount(h) >e ] <= 4mH(2N) exp (-1/8 e^2 N)

lscHacker
关注
专栏目录
机器学习笔记——统计学习方法概论(一)
weixin_40426830的博客
11-15 664
机器学习 什么是机器学习？ 机器学习是近20多年兴起的一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。机器学习理论主要是设计和分析一些让计算机可以自动“学习”的算法。机器学习算法是一类从数据中自动分析获得规律，并利用规律对未知数据进行预测的算法。因为学习算法中涉及了大量的统计学理论，机器学习与统计推断学联系尤为密切，也被称为统计学习理论。算法设计方面，机器学习理论...
周志华《机器学习》西瓜书笔记——更到第5章
wzixuan1的博客
02-14 830
监督学习supervised learning=有导师学习：训练数据拥有标记信息，如分类、回归 无监督学习unsupervised learning=无导师学习：训练数据没有标记信息，如聚类 分类classification：欲预测的是离散值的一类学习任务，例如好瓜or坏瓜 回归regression：欲预测的是连续值 聚类clustering：即将训练集中的西瓜分成若干组 簇cluster：每一个组
全面讨论泛化 (generalization) 和正则化 (regularization) — Part 1
Paper weekly
05-25 907
©作者 | 李诗淼学校 | 卡内基梅隆大学研究方向 | Physics-informed ML模型泛化能力，是设计和评估一个机器学习 or 深度学习方法时无比重要的维度，所以我想通过一系列文章，与大家全面地讨论机器学习和深度学习中的泛化（generalization）/正则化（regularization），一方面从多角度理解模型的泛化问题，另一方面，从泛化角度来解释机器...
【一起啃西瓜书】机器学习-期末复习
风口IT猪的成长录
12-09 8486
【机器学习-期末复习爆肝2w字笔记整理分享】 《机器学习》致力于研究如何通过计算的手段，利用经验来改善系统自身的性能，从而在计算机上从数据（经验）中产生“模型”，用于对新的情况给出判断（利用此模型预测未来的一种方法）。 分为三类：监督学习、元监督学习、强化学习。
机器学习基石笔记6——为什么机器可以学习（2）
dqflying的专栏
05-09 372
http://www.cnblogs.com/ymingjingr/p/4271742.html 六、Theory of Generalization 泛化理论（举一反三）。 6.1 Restriction of Break Point 突破点的限制。 回顾一下上一章中提到的成长函数 的定义：假设空间在N个样本点上能产生的最大二分（dichotomy）数量，其
周志华机器学习（西瓜书）学习笔记（持续更新）
热门推荐
yhdsss875的博客
11-04 1万+
《周志华机器学习》笔记第1章 绪论1.1 引言1.2 基本术语1.3 假设空间1.4 归纳偏好1.5 发展历程1.6 应用现状第2章 模型评估与选择 第1章 绪论 1.1 引言 机器学习致力于研究如何通过计算的手段，利用经验来改善系统自身的性能。其所研究的主要内容，是关于在计算机上从数据中产生“模型”(model)的算法，即“学习算法”(learning algorithm)。 本书中，“模型”泛指从数据中学得的结果，有的文献中用“模型”指全局性结果，二用“模式”指局部性结果。 1.2 基本术语 要进行机器
台湾大学林轩田《机器学习基石》学习笔记第7讲——The VC Dimension
Stoneeeee的博客
09-14 379
回顾一下上一节课主要讲了Theory of Generalization，泛化是指我们通过训练之后的机器学习，可以在新的data中也能很好地预测结果，即Ein约等于Eout。 为此前几次课引入了break point、growth function，上一节课还证明了成长函数M其实是有上限的。 本次笔记主要介绍VC Dimension的概念。同时也是总结VC Dimension与Ein(g)≈0...
西瓜书读书笔记整理（十二） —— 第十二章 计算学习理论（上）
Smileyan's blog
01-19 4181
计算学习理论（computational learning theory）是一门研究如何使用计算机科学和数学方法来理解学习过程的学科。它涉及到机器学习、统计学习理论、数据挖掘等领域，旨在通过算法和模型来描述和分析学习的过程。iidi.i.d.iid给定样例集Dx1y1x2y2xmymD{(x1​y1​x2​y2​...xm​ym​)}xi∈Xxi​∈X，本章主要讨论二分类问题，若无特别说明，yi∈Y。
机器学习笔记九八
qq_45791012的博客
02-07 788
本节我们会对学习理论有一个大致了解，除了启发和深入理解机器学习，这部分讨论还将加强我们对学习理论直观概念，也会介绍一些学习算法在不同设置下最佳应用的经验。同时还将尝试解答这几个问题： 首先，我们能否形式化偏差与方差间的权衡过程？ 这个问题也将引出关于模型选择方法的讨论，比如算法自动确定使用几阶多项式进行拟合。 其次，在机器学习中我们真正关心的是模型的泛化误差，但是大多数学习算法只对训练集做拟合，那么我们如何从“对训练集有着很好拟合的模型”中得知它的泛化误差？ 我们尤其想知道，能否将“模型关于训练集的
林轩田《机器学习基石》课程笔记6 -- Theory of Generalization1
08-03
这些概念是理解机器学习算法性能的关键因素。 首先，Break Point是衡量一个分类器在特定数据集上表现的一个指标，它表示分类器能对数据集进行多少种不同的划分（dichotomies）。如果数据集中点的数量（N）超过Break...
斯坦福CS229机器学习笔记-Lecture9- Learning Theory 学习理论
朝花&夕拾
02-23 1802
声明：此系列博文根据斯坦福CS229课程，吴恩达主讲 所写，为本人自学笔记，写成博客分享出来           博文中部分图片和公式都来源于CS229官方notes。           CS229的视频和讲义均为互联网公开资源 Lecture 9 主要内容如下： · Bias/variance tradeoff （偏差/方差均衡） · Union Bound + Hoeffd...
面向多场景应用的光网络通感一体化架构和关键技术方案研究.pdf
09-28
面向多场景应用的光网络通感一体化架构和关键技术方案研究
基于Vue框架的Digital Twin开发设计源码
09-28
该项目是基于Vue框架的Digital Twin开发设计源码，由38个文件组成，涉及TypeScript、JavaScript、Vue、CSS、HTML等多种编程语言，包括9个TypeScript文件、6个JavaScript文件、5个JSON文件、5个Vue文件、3个SVG文件、2个Markdown文件、2个WebAssembly文件、1个Git忽略文件、1个HTML文件和1个CSS文件。该源码旨在提供大学生在线学术交流的平台，助力学术创新与协作。
基于Java和C++技术的易涂鸦设计源码
09-28
该项目是一款基于Java和C++技术的易涂鸦设计平台源码，包含487个文件，其中Java源文件226个，PNG图片文件135个，XML配置文件88个，其他类型文件包括brush文件7个，gradle文件4个，jpg文件4个，gitignore文件3个，properties文件3个，md文件2个，txt文件2个。该平台专注于涂鸦功能，为用户提供便捷的设计与绘图体验。
基于HTML/CSS/JavaScript的多人在线知识交流平台博客项目设计源码
09-28
该项目是一款基于HTML、CSS和JavaScript的多人在线知识交流平台博客，设计源码包含451个文件，其中包括149个Java文件、89个JavaScript文件、60个CSS文件、42个Class文件、23个PNG图片文件、20个XML文件、17个HTML文件、12个JPG文件、6个JSON文件、5个Map文件，旨在为用户提供一个互动的知识分享与交流空间。
开关电源工作原理及电路图技术资料开发设计用的重要资料.zip
09-28
开关电源工作原理及电路图技术资料开发设计用的重要资料.zip
基于Plpgsql与Java的学生管理系统设计源码
最新发布
09-28
该项目是一款基于Plpgsql与Java开发的学生管理系统源码，总计包含190个文件。其中，165个为Java源文件，11个为XML配置文件，4个为YAML配置文件，2个为Git忽略文件，1个为Dockerfile，1个为LICENSE文件，1个为Markdown文件，1个为JSON文件，1个为Maven命令行脚本，以及1个为Windows命令文件。该系统旨在提供全面的学生信息管理功能。
基于Vue2、swiper、elementUI的电商购物网站前台设计源码
09-28
该源码为基于Vue2、swiper和elementUI构建的电商购物网站前台设计，包含223个文件，其中包括121个PNG图片、28个JPG图片、28个Vue组件文件、22个JavaScript文件、8个JSON文件、6个CSS文件、4个JPEG图片、2个HTML文件、1个gitignore文件和1个Markdown文件。项目适用于搭建功能完善的电商购物网站前台界面。
斯坦福CS229机器学习课程笔记：Andrew Ng的深度解析
"斯坦福 cs229 机器学习课程笔记" 本文将详细探讨斯坦福大学CS229机器学习课程的主要知识点，该课程由机器学习领域的权威人物Andrew Ng教授。课程内容丰富，涵盖了从基础概念到高级技术，旨在帮助学生深入理解和...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值