"没有免费的午餐"-原理剖析(详细)

最新推荐文章于 2023-08-12 10:10:33 发布
最新推荐文章于 2023-08-12 10:10:33 发布
阅读量1.7k 收藏 3
点赞数 5
分类专栏： 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Richard__Ting/article/details/88307798
版权

“没有免费的午餐”-原理剖析(详细)

No Free Lunch（NFL）让我们清楚地认识到，脱离具体问题，空泛谈论“什么学习算法更好”毫无意义，因为若考虑所有潜在的问题，则所有的学习算法都一样好。
——《机器学习》 周志华

以下是对书中证明的详细解释。待整理。

文章目录

一些数学符号说明

公式推导

笔记

在这里插入图片描述

PzLu
关注
专栏目录
教育科研-学习工具-一种保温书包.zip
08-12
可能包含了这种保温书包的设计理念、工作原理、使用方法以及在实际教学环境中的应用效果等内容。 【标签】：“教育科研-学习工具-一种保温书包”这个标签清晰地勾勒出这个文件的主题，它既是教育科研的产物，又是一...
机器学习笔记 - 奥卡姆剃刀和没有免费的午餐理论
衣衫破旧 歌声温柔
10-20 2934
保研之后，时间整个人都放松了，节奏很慢，懒散了几天。还是决定要学点东西，之前学过机器学习课程，但是没有认真听，这段时间刚好可以看看，做做笔记。教材是周志华老师的《机器学习》。一、奥卡姆剃刀（Occam’s razor） 奥卡姆剃刀原则主张选择与经验观察一致的最简单假设，是一种常用的、自然科学研究中最基本的原则，即“若有多个假设与观察一直，则选最简单的那个”。 举个例子。假如有一些连续点，可以用二
没有免费午餐定理No Free Lunch Theorem
飞机火车巴雷特的博客
07-13 6829
机器学习Machine Learning没有免费午餐定理的推导、展开、证明
机器学习开篇之没有免费午餐定理
Lion_Dreams的博客
06-14 2111
当我们拿到数据之后，构建机器学习算法的第一步应当是：观察数据，总结规律。 目前由于大数据和深度学习的发展，很多人会认为，只要收集足够多的数据，从网上的开源算法模型中随便找一个，直接将数据丢到模型中去训练，就可以获得很好的结果。这样的观点在大多数情况下都是不正确的。我们需要对数据有一个感性的认识，如果我们对数据没有感性的认识，我们就很难设计出好的算法，也很难估计算法可能达到的性能极限。 对于不同的机器学习任务，我们怎么样去选择一个更好的机器学习算法呢？ 1995年，Wolp
没有免费午餐定理
小郑在路上
02-28 2131
一、没有免费午餐定理 1. 概述 No Free Lunch Theorem 是值：任何一个预测函数，如果在一些训练样本上表现好，那么必然在另一些训练样本上表现不好，如果不对训练样本在特征空间的先验分布有一定假设，那么表现好与表现不好的情况一样多。因此没有任何情况下都最好的机器学习算法。 2. 例子： ...
机器学习笔记1-“没有免费的午餐”定理（No Free Lunch Theorem）
singsing_的博客
09-06 2183
教材-周志华《机器学习》 绪论各种基本术语不再赘述，大部分都可以望文生义。 “没有免费的午餐”定理（No Free Lunch Theorem）（简称NFL定理）：该定理的结论是，由于对所有可能函数的相互补偿，最优化算法的性能是等价的。该定理暗指，没有其它任何算法能够比搜索空间的线性列举或者纯随机搜索算法更优。该定理只是定义在有限的搜索空间，对无限搜索空间结论是否成立尚不清楚。该定理的前提时：所有“问题”出现的机会相同、或所有问题同等重要。 但实际情形我们只需要为特定的问题找到解决方案，而不关注该方案在别的
计数原理乘法原理PPT学习教案.pptx
10-11
《计数原理与乘法原理》 计数原理与乘法原理是概率论与组合数学中的基础概念，它们被广泛应用于解决日常生活中的多种选择问题。...通过理解并熟练运用这些原理，我们能够更加准确地估算和分析各种情况的可能性。
薪酬制度设计原理.pptx
10-08
- **福利**：涵盖法定福利（如五险一金）和企业福利（如免费午餐、健身房等），这些通常是全员享有的，与个体劳动量无关。 3. **薪酬体系设计的目标与流程** - 设计目标通常是为了吸引、保留和激励人才，同时保持...
B个发明原理PPT教学课件.pptx
10-06
这40个原理通过分析大量专利，提炼出了一些通用的创新策略，旨在将发明过程从依赖直觉转变为基于科学的方法。 1. **分割原理**：将物体分为独立的部分，可以提高灵活性和效率。例如，个人计算机的出现，使得复杂的...
经济学原理的自测判断题.doc
10-03
2. “天下没有免费的午餐”表示所有经济决策都有代价，即权衡取舍。这个观点是对的，它体现了机会成本的概念。 3. 亚当·斯密的“看不见的手”描述的是市场机制如何通过供求关系自发调节经济，而非公司对消费者的...
NFL定理——没有免费的午餐No Free Lunch Theorem
dscl_yk的博客
08-07 606
对NFL定理的证明作了详细推导
推荐:天下没有免费的午餐
加俊
03-21 292
1、今天发现一个博客,写的不错。 这篇博客写的挺好，起码解决我的一个疑惑：一直和团队讲自由，分享，开放，可现实往往证明还是需要死的制度才行，兄弟们多半也被这些现实打败。 我的修炼还远远不够，难以像这篇文章说的浅显易懂，所以挺有感觉，转载了，呵呵。 2、碰巧这些天的面试，会碰到一些在JE上写博客/帖子或者逛的人 3、突然发现N久（半年）没到javae...
机器学习之天下没有免费午餐定理
qq_36618705的博客
03-01 917
没有免费午餐定理（No Free Lunch Theorem） 如果我们不对特征空间有先验假设，则所有算法的平均表现是一样的。 但是我们认为：特征差距小的样本更有可能是同一类。
没有免费的午餐定理
最新发布
xinxin的博客
08-12 3802
具体问题具体分析”． 没有免费午餐定理对于机器学习算法也同样适用．。如果有人宣称自己的模型在所有问题上都好于其他模型，那么它一定在另外一些问题上比纯随机搜索算法更差。不存在一种机器学习算 法适合于任何领域或任务．。Macerday 在最优化理论中提出的。不能脱离具体问题来谈论算法的优劣。如果一个算法对某些问题有效，对于基于迭代的最优化算法，不存在某种算法对所有问题。没有免费午餐定理证明。
机器学习周志华--没有免费的午餐定理
u013238941的专栏
01-17 1万+
没有免费的午餐定理(No Free Lunch Theorem),这个定理说明 若学习算法LaL_a 在某些问题上比学习算法LbL_b 要好， 那么必然存在另一些问题， 在这些问题中LbL_b 比LaL_a 表现更好。 这里说的表现好就是前面所说的泛化能力更强。然后出现了下面这个公式 Eote(La|X,f)=∑h∑x∈χ−XP(x)I(h(x)≠f(x))P(h|X,La)E_{ote
机器学习---“没有免费的午餐”(no free lunch)定理简单易懂的解释
热门推荐
数据之美的博客
11-08 1万+
初入机器学习领域的同学都知道机器学习中有一个普适的定理：没有免费的午餐(no free lunch)。 对它的简单易懂的解释就是： 1、一种算法（算法A）在特定数据集上的表现优于另一种算法（算法B）的同时，一定伴随着算法A在另外某一个特定的数据集上有着不如算法B的表现； 2、具体问题（机器学习领域内问题）具体分析（具体的机器学习算法选择）。
机器学习笔记(2)----“没有免费的午餐”定理
樽前花下歌筵里
03-22 3889
“没有免费的午餐”定理（No Free Lunch Theorem，简称NFL） 先来看一个例子。假设学习算法a基于某种归纳偏好产生了对应于A的模型，学习算法b基于另一种归纳偏好产生了对应于曲线B的模型。 基于奥卡姆剃刀原理，我们会期待算法a比算法b更好。确实，如图(a)所示，和B相比，A与训练集外的样本更一致；换言之，A的泛化能力比B强。 但是，且慢！虽然我们希望并相信算法a比b更好，但会
NFL(没有免费的午餐)
火鸡哥
10-08 921
NFL(没有免费的午餐) @(周志华·机器学习) 1､诠释 NFL全称：No Free Lunch Theorem；意思是，所有的学习算法的期望性能是相同的。 NFL的前提是，所有“问题出现的机会相同”、或所有的问题同等重要。 NFL的寓意是，让我们清楚的认识到，脱离具体问题，空泛地谈论“什么学习算法更好”毫无意义，因为若考虑所有潜在的问题，则所有的学习算法都一样好。要谈论算法的相对优劣，必须要...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值