机器学习 NFL定理

最新推荐文章于 2024-08-22 13:46:16 发布
最新推荐文章于 2024-08-22 13:46:16 发布
阅读量2.8k 收藏 2
点赞数 2
分类专栏： 机器学习 文章标签： 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/no_rishi/article/details/113808132
版权
NFL定理指出，在没有先验知识的情况下，任何机器学习算法的表现都不会优于随机猜测。这意味着不存在通用的最佳算法，学习算法需针对具体问题进行适应。在实际应用中，我们关注的是特定问题的解决方案，而不是泛化的模型性能。因此，对比不同模型在特定任务上的表现才是有意义的。
摘要由CSDN通过智能技术生成

一、什么是NFL定理？

No Free Lunch Theoren ，没有免费的午餐定理，简称NFL定理；

在机器学习算法中体现为在没有实际背景下，没有任何一种算法比随机胡猜的效果更好；

学习算法必须要作出一个与问题领域有关的“假设”，分类器必须与问题域相适应，不存在一个与具体应用无关的，普遍适用的“最优分类器”；

NFL定理的前提是：所有问题出现的机会相等、或所有问题都是同等重要。但是现实中，我们往往会得到特定的数据，特定的分布，解决特定的问题，所以我们只需要解决关注的问题，而不需要考虑这个模型是否很好的解决其他的问题。只有对于特定的问题，我们比较不同模型的才有意义。

No_Rishi
关注
专栏目录
机器学习的一些定理
AI天才研究院
04-27 1万+
当你在前人的基础上开发出新的模型，实际上已经应用了泄漏的数据，增加了过拟合的风险。**归纳偏置(inductive bias)**是指任何一个有效的机器学习算法必有其“偏好”，否则算法无法处理对于假设空间中看似在训练集上“等效”(如在数据集上具有相同的分类准确率)的假设，从而无法产生确定的学习结果。一种常用的防止数据窥探的方法是不人为的引入先验知识。在实践中应尽可能保持训练环境和测试环境接近，而训练集和测试集的数据分布通常是不匹配的，因此需要合理地调整验证集的采样策略，使得验证集和测试集的分布更一致一些。
透过现象看机器学习：奥卡姆剃刀，没有免费的午餐，丑小鸭定理等
Datawhale
05-10 1437
Datawhale作者：邱锡鹏，复旦大学教授寄语：本文对PAC学习理论、没有免费的午餐定理、丑小鸭定理、奥卡姆剃刀原理等机器学习中有名的理论或定理进行了详细的梳理。在机器学习中，有一...
NFL定理及前提
weixin_41370083的博客
08-14 6769
什么是NFL（No Free Lunch Theorem) 我们在做模型时，都会在算法的选择上花费了大部分时间，会纠结在算法的好坏以及各自的优缺点，最终实现我们的目标函数和现实函数之间的总误差最小。我们也会平时挂在嘴边，哪个算法比哪个好。但是在周志华老师《机器学习》的书中提到一个概念NFL。 周志华老师写道： 通过公式的推导，我们发现总误差竟然与学习算法无关，对于任意两个学习算法，无...
机器学习公式推导【Day1】NFL定理
努力上进的小叶
03-02 3034
NFL没有免费的午餐定理1. NFL定理（No Free Lunch Theorem）2. NFL定理解析 （本文为个人学习总结笔记） 1. NFL定理（No Free Lunch Theorem） 无论算法多么聪明或者多么笨拙，算法他们的期望性能是相同的，具体如下： 为简单起见，假设样本空间 X\mathcal{X}X和假设空间H\mathcal{H}H都是离散的.令 P(h∣X,La)P\le...
【机器学习】无免费午餐定理（No Free Lunch Theorem，简称NFL定理）和奥卡姆剃刀（Occam‘s Razor）以及K-折交叉验证法的基本概念
最新发布
ya的博客
08-22 1358
核心思想：没有任何一种算法可以在所有可能的问题上总是比其他算法表现得更好具体来说，NFL定理指出，如果我们考虑所有可能的问题，那么所有算法的平均性能是相同的。这意味着，没有一种算法可以在所有类型的问题上都表现得最优。换句话说，一种算法在某一类问题上可能非常有效，但在另一类问题上可能就表现得很差。因此，不存在一种“万能”的算法可以解决所有问题。无免费午餐定理告诉我们，没有一种算法可以在不考虑问题特性的情况下，无条件地被认为是最好的。每个算法都有其适用的场景和限制。
NFL定理（No Free Lunch Theorem）
qq_39957456的博客
08-28 1009
由于对所有可能函数的相互补偿，最优化算法的性能是等价的。 该定理暗指，没有其它任何算法能够比搜索空间的线性列举或者纯随机搜索算法更优。 该定理只是定义在有限的搜索空间，对无限搜索空间结论是否成立尚不清楚 NFL定理重要前提：所有问题出现的机会相同，或者所有问题同等重要。 而实际情形并非如此。脱离具体问题，空泛地谈论“什么学习算法更好”毫无意义。 例子，问：想要快速从A地到达B地，最好的解决方案是什么？ 如果A是南京鼓楼，B是南京新街口，那么骑自行车可能是一个最好的解决方案； 如果A
机器学习：西瓜问题之浅谈NFL定理
慵懒的黄桃
04-02 2143
在谈论NFL定理之前，有几点概念理解需要强调： 样本空间：并非所有样本组成的空间，而是属性张成的空间，也就是对于已经定义好的属性，样本空间就覆盖了全部的可能。故西瓜问题的样本空间就是书中所讲的4*4*4+1=65种。那么，样本空间就真的覆盖了现实生活中所有的情况吗？显然不是，最真实的情况只能不断逼近，而无法准确地全部预测。例如，书中西瓜有色泽、根蒂、敲声三个属性，那么比如花纹这...
机器学习中的人生启示：“没有免费的午餐”定理（NFL）的个人发展之道→探讨感觉和身边其他人有差距怎么办？
蓝色是天的博客
08-06 1905
本文探讨了NFL定理在个人发展中的应用，并提供了克服局限性思维的方法和建议。根据NFL定理，没有一种单一的方法适用于所有情况。首先，个人的多样性和独特性是竞争优势，结合不同领域的知识和技能，创造独特解决方案。其次，持续学习和专业发展至关重要，提高自己的专业能力和竞争力。克服局限性思维需要拓宽视野、开放思维，跳出舒适区，探索多种解决方案，运用系统思维和多元思考。面对挫折和失败，积极看待并从中学习经验。个人发展是不断演化和成长的过程，实现个人的成功和成长需要自我认识、持续学习和不断调整。通过应用这些方法和原则，
程序员的机器学习笔记－第一篇 NFL定理
我终于懂了（没懂）博客
12-10 1568
在前一篇笔记中介绍了一些机器学习中的基本概念，其中提到了“模型”和“假设空间”的概念，也说过“统计学习首先要考虑的问题是学习什么样的模型，模型确定了，模型的假设空间自然就确定了，后面要做的就是从假设空间子搜索最优的假设”。那么，大家可能就会提出这样的问题“哪一种模型能提出最好的假设空间，从而得到性能最好的假设函数？”或者“有没有一个最强大的模型，使用它就可以解决所有的问题”或者更具体的“传统的机器机器学习技术和现在正火热的深度学习哪个更好？”。答案很简单：不结合具体的问题去比较哪个模型...
机器学习算法比较.pdf
09-24
在机器学习中有一种“无免费午餐（NFL）”的定理，它指出没有任何一个算法可适用于每个问题，尤其是与监督学习相关的。因此，需要尝试多种不同的算法来解决问题，同时还要使用“测试集”对不同算法进行评估，并选出...
【机器学习】舍友居然偷偷在看这篇文章·入门机器学习
kikokingの比特宇宙
04-12 5980
kiko力求用最通俗的语言和实战案例来解释机器学习的相关内容！
NFL 定理
PonyMzp的博客
10-17 495
NFL定理的核心思想是：在所有可能的问题实例上，所有优化算法在平均情况下都具有相同的性能。这个定理强调了一个重要观点，即算法的性能不仅取决于算法本身，还取决于要解决的具体问题。NFL定理的重要性在于它提醒我们，要根据特定问题的性质来选择适当的优化算法。不同问题可能需要不同的算法或策略，没有一种"免费的午餐"算法，即没有一种算法可以无需关注问题的特性而在所有问题上都表现得很好。在实践中，机器学习从业者需要考虑问题的特性、数据分布和领域知识，以选择最合适的算法和策略来解决特定的任务。
第一章 NFL定理
fengkuangdexiaoji123的博客
01-16 601
手撕机器学习算法--一步步推导-------NFL（没有免费午餐定理）
醉卧考场君莫笑
05-15 1120
其实机器学习也好，深度学习也罢，在我看来，代码编程终究是不重要的，因为现成的库，其数学原理，其公式推导才是我们需要理解的地方第一个Eote 值得是外训练误差，其中o是outer ，其中t是training，其中e是error外训练误差指的一个训练好的模型，在外部也就是没有训练过的样本的预测结果的误差其中X是训练的样本_x_是总共的样本空间f是真实的函数h是预测函数，是训练出来的模型中间的||是逻辑符号，即表示预测值与真实值是否相等，相等则是为0，不相等为1。也就是看是不是有误差。
机器学习（1）归纳偏好和NFL
热门推荐
qq_44459787的博客
07-09 1万+
机器学习（1）归纳偏好和NFL 这是萌新小白第一次写博客，也是刚刚开始机器学习的系统学习。第一次的博客主要介绍的是归纳偏好和NFL定理。 归纳偏好 任何一个有效的机器学习算法都必然有其归纳偏好，否则其就会因为假设空间中在训练集上假设的“等效”而感到困惑无法产生确定的学习结果。譬如面对一个有很多西瓜的验证集，对于同样要素（样本特征）的西瓜算法会有时判定为“好瓜”，有时判定为“坏瓜”。这样子的学习结果显然是没有实际作用的。 譬如，训练集中的数据点为 {(0, 0), (1, 1), (-1, 1)}
“没有免费的午餐”定理（NFL定理）
fly___2019的博客
03-25 2841
“没有免费的午餐”定理（NFL定理）的理解 最近在看这个，个人的理解而已。 简介 在机器学习过程中，需要确定一个假设，从而确定了整个假设空间，而学习的过程就是在假设空间的众多假设中找到与样本数据集表现一致或者最相近的假设。 #上面的内容有点绕，举个栗子 当面对一个二分类的问题时，如果采用线性可分支持向量机对该数据进行学习，则假设“整个训练数据集是线性可分的”（确定一个假设），假设空间则为ax+b=...
NFL定理（No Free Lunch）
打呼噜的星
03-12 302
NFL定理–理解
NFL定理——没有免费的午餐No Free Lunch Theorem
dscl_yk的博客
08-07 632
对NFL定理的证明作了详细推导
机器学习概率基础：贝叶斯定理与极大似然
本文主要介绍了三个关键的机器学习概率概念：贝叶斯定理、极大似然估计和中心极限定理，这些都是理解机器学习概率基础的重要组成部分。 一、贝叶斯定理及其应用 贝叶斯定理是概率论中的一个核心概念，尤其在统计...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值