周志华—机器学习学习记录（第一章）

之前一直因自己的懈怠和课题进度的原因忽视了对机器学习领域基础原理的学习，以致后续学习乏力，遂重头开始学习周志华老师所著机器学习一书。

第一章 绪论

NFL(No Free Lunch)定理

在1.4章，提到了一个NFL(No Free Lunch)定理

百度一下这个NFL定理：

1）对所有可能的的目标函数求平均，得到的所有学习算法的“非训练集误差”的期望值相同；

2）对任意固定的训练集，对所有的目标函数求平均，得到的所有学习算法的“非训练集误差”的期望值也相同；

3）对所有的先验知识求平均，得到的所有学习算法的“非训练集误差”的期望值也相同；

4）对任意固定的训练集，对所有的先验知识求平均，得到的所有学习算法的的“非训练集误差”的期望值也相同。

NFL定理表明没有一个学习算法可以在任何领域总是产生最准确的学习器。不管采用何种学习算法，至少存在一个目标函数，能够使得随机猜测算法是更好的算法

 

下面看一下推导过程

 

假设样本空间χ和假设空间H都是离散的，令P(h|X, εa)代表算法εa 基于训练数据X产生假设h的概率，再令f代表我们希望学习的真实目标函数。εa的“训练集外误差”，即εa在训练集之外的所有样本上的误差为

注：在这里我们定义真实的目标函数为“任何能将样本映射到{0,1}的函数+均匀分布”，例如样本空间只有两个样本时

 

其中​()是指示函数，若括号内表达式为为真，则​()为1，若括号内表达式为假，则​()为0

推导过程引用自南瓜书https://datawhalechina.github.io/pumpkin-book/#/chapter1/chapter1

但是NFL定理存在一个前提前提：即所有问题同等重要，但是在现实中，我们只关注想要解决的问题。

书中提到这个定理则是为了说明只有针对不同的问题，才能去谈论不同算法的优劣。

人工智能发展历程

逻辑理论→知识赋予→知识学习→统计学习→深度学习

若有侵权，请联系