公开课机器学习笔记（17）学习理论二 VC维、ERM总结、模型选择、特征选择

最新推荐文章于 2019-11-04 19:30:25 发布
最新推荐文章于 2019-11-04 19:30:25 发布
阅读量1.4k 收藏 1
点赞数
分类专栏： stanford机器学习笔记

本篇是ML公开课的第10个视频，上接第9个视频，都是讲学习理论的内容。本篇的主要内容则是VC维、模型选择(Model Selection)。其中VC维是上篇笔记中模型集合无限大时的扩展分析；模型选择又分为交叉检验(Cross Validation)和特征选择(FeatureSelection)两大类内容。





BlueLoveyyt
关注
专栏目录
《机器学习》周志华(西瓜书)学习笔记 第二章 模型评估与选择
sdm12345的博客
05-11 1871
第二章 模型评估与选择
学习理论、模型选择、特征选择——斯坦福CS229机器学习个人总结（四）
Jiahe的博客
04-29 7337
这一份总结里的主要内容不是算法，是关于如何对偏差和方差进行权衡、如何选择模型、如何选择特征的内容，通过这些可以在实际中对问题进行更好地选择与修改模型。1、学习理论（Learning theory）1.1、偏差/方差（Bias/variance） 图一 对一个理想的模型来说，它不关心对训练集合的准确度，而是更关心对从未出现过的全新的测试集进行测试时的性能，即泛化能力（Generalization
斯坦福机器学习ML公开课笔记1-15（完整版、带目录索引和NG原版讲义）
11-07
1-15节全部完整版讲义！超清分享~~~（附赠目录索引和NG原版讲义） 含金量高，独家整理~~ 目录如下： 公开课笔记1-2——线性规划、梯度下降、正规方程组 公开课笔记3——局部加权回归、逻辑斯蒂回归、感知器算法 公开课笔记4——牛顿方法、指数分布族、广义线性模型 公开课笔记5——生成学习、高斯判别、朴素贝叶斯 公开课笔记6——NB多项式模型、神经网络、SVM初步 公开课笔记7——最优间隔分类、原始/对偶问题、SVM对偶 公开课笔记8———核技法、软间隔分类器、SMO算法 公开课笔记9—偏差/方差、经验风险最小化、联合界、一致收敛 公开课笔记10——VC维、模型选择、特征选择 公开课笔记11——贝叶斯正则化、在线学习、ML应用建议 公开课笔记12——K-Means、混合高斯分布、EM算法 公开课笔记13A——混合高斯模型、混合贝叶斯模型 公开课笔记13B-因子分析模型及其EM求解 公开课笔记14——主成分分析 公开课笔记15—隐含语义索引、奇异值分解、独立成分分析
斯坦福ML公开课笔记10——VC维、模型选择、特征选择
雨石
01-17 1万+
本篇是ML公开课的第10个视频，上接第9个视频，都是讲学习理论的内容。本篇的主要内容则是VC维、模型选择(Model Selection)。其中VC维是上篇笔记中模型集合无限大时的扩展分析；模型选择又分为交叉检验(Cross Validation)和特征选择(FeatureSelection)两大类内容。
NB多项式模型、神经网络、SVM初步—斯坦福ML公开课笔记6
雨石
08-02 1万+
本篇笔记针对斯坦福ML公开课的第6个视频，主要内容包括朴素贝叶斯的多项式事件模型（MultivariateBernoulli Event Model）、神经网络（Neural Network）、支持向量机（Support Vector Machine）的函数间隔（functionalmargin）与几何间隔（geometricmargin）。
斯坦福ML公开课笔记12——K-Means、混合高斯分布、EM算法
热门推荐
雨石
01-21 1万+
公开课系列的pdf文档已经上传到csdn资源，下载请猛击这里。 本文对应斯坦福ML公开课的第12个视频，第12个视频与前面相关性并不大，开启了一个新的话题——无监督学习。主要内容包括无监督学习中的K均值聚类(K-means)算法，混合高斯分布模型(Mixture of Gaussians, MoG)，求解MoG模型的EM算法，以及EM的一般化形式，在EM的一般化形式之前，还有一个小知识点，即Jensen不等式(Jensen’s inequality)。
斯坦福ML公开课笔记15—隐含语义索引、奇异值分解、独立成分分析
雨石
07-22 9287
斯坦福ML公开课笔记15 我们在上一篇笔记中讲到了PCA(主成分分析)。PCA是一种直接的降维方法，通过求解特征值与特征向量，并选取特征值较大的一些特征向量来达到降维的效果。 本文继续PCA的话题，包括PCA的一个应用——LSI(Latent Semantic Indexing, 隐含语义索引)和PCA的一个实现——SVD(Singular Value Decomposition,奇异值分解)，在SVD和LSI结束之后，关于PCA的内容就告一段落。视频的后半段开始讲无监督学习的一种——ICA(Indepen
斯坦福ML公开课笔记91
08-03
在本文中，我们将探讨的是斯坦福大学机器学习（ML）公开课笔记第91节的内容，主要涉及学习理论的一些核心概念，包括偏差/方差、经验风险最小化（ERM）、联合界（Union Bound）以及一致收敛（Uniform Convergence）。...
机器学习：VC维与概率逼近正确学习
总结来说，机器学习中，我们需要理解如何从实例中学习，如何衡量和控制模型的复杂度（如通过VC维），以及如何在噪声存在的情况下保证模型的泛化性能。这涉及到对概率论、统计学和优化理论的深入理解，以及正确选择和...
斯坦福ML机器学习课程笔记 （1-16节完整版，附原始NG英文讲义）
11-07
斯坦福ML机器学习课程笔记 （1-16节完整版，附原始NG英文讲义）
erm:简洁的实体关系模型
06-27
erm是一种用于简洁地指定实体关系模型的微型语言。 例子 定义一个实体关系模型文件，如下所示。 [Person|1] <Attends> [School|*]; [Person] -> [Student] [Teacher]; [School|*] <Offers> [Major|*]; [Student|1] <Studies> [Major|*]; [Student|+] <Takes> [Class|*]; [Teacher|*] <Teaches> [Class|1]; [Class|?] <Requires> [Major|*]; 我们称它为education.erm 。 使用ermc编译器，编译并渲染您的模型。 ermc render -i=education.erm 渲染后的 SVG 如下。 必须为ermc安装才能执行渲染。 此外，在ermc.exe.config
斯坦福课程ML
D. Qiu的专栏
03-26 1126
1、线性回归、logistic回归和一般回归 线性回归函数（如果） 损失函数（loss function）或者错误函数（error function） 梯度下降法 梯度下降法最大的问题是解有可能是局部极小值，这与初始点的选取有关步骤 首先对赋值，这个值可以是随机的，也可以让是一个全零的向量改变的值，使得沿梯度下降的的方向减少 由于求得的是极小值，因此
机器学习笔记8——ERM
OnePisces博客专栏
05-09 1万+
这一章开始将学习理论 偏差与方差的权衡 ERM——经验风险最小化
Stanford ML - Introduction 入门
YMHH的专栏
07-12 675
在CMU听老婆等人讨论学术问题，很受刺激啊，一个个的mingci
斯坦福ML公开课笔记9—偏差/方差、经验风险最小化、联合界、一致收敛
雨石
09-27 1万+
本篇与前面不同，主要内容不是算法，而是机器学习的另一部分内容——学习理论。主要包括偏差/方差（Bias/variance）、经验风险最小化（Empirical Risk Minization，ERM）、联合界（Union bound）、一致收敛（Uniform Convergence）。 Ng对学习理论的重要性很是强调，他说理解了学习理论是对机器学习只懂皮毛的人和真正理解机器学习的人的区别。学习理论的重要性在于通过它能够针对实际问题更好的选择模型，修改模型。
吴恩达机器学习——学习理论，经验风险最小化（ERM），一般误差（测试误差），VC维
我爱学习的博客
07-20 6058
这一章主要是学习的理论。首先我们来关注这章主要研究的问题： 1.我们在实践中针对训练集有训练误差，针对测试集有测试误差，而我们显然更关心的是测试误差。但是实际算法通常都是由训练集和模型结合，那么我们如何针对训练集的好坏来体现出测试误差的信息呢？这是我们研究的第一个问题 2.是否存在某些条件，我们能否在这些条件下证明某些学习算法能够良好工作？ 1.符号定义 写在前面，这里这把各种符号定义...
机器学习(Machine Learning, ML)
zhangqinghao9203的专栏
02-11 2791
机器学习(Machine Learning, ML)的目的是根据给定的训练样本求对某系统输入输出之间依赖关系的估计，使它（这种关系）能够对未知输出做出尽可能准确地预测。机器学习至今没有一个精确的公认的定义。作为人工智能(Artificial Intelligence, AI)的一个重要研究领域，ML的研究工作主要围绕学习机理、学习方法和面向任务这三个基本方面进行研究。模式识别、函数逼近和概率密度估
最常用的决策树算法！Random Forest、Adaboost、GBDT 算法
Datawhale
11-04 732
点击上方“Datawhale”，选择“星标”公众号第一时间获取价值内容本文主要介绍基于集成学习的决策树，其主要通过不同学习框架生产基学习器，并综合所有基学习器的预测结果来...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值