机器学习中的一些小定理(原则)总结
奥卡姆剃刀原则(OR)
若有多个假设和观察一致,则选择最简单的那个。
没有免费的午餐(NFL)
对于样本空间和假设空间,所有的学习算法,它们总误差的期望值相等(即所有算法的学习性能与随机胡猜差不多)。
重要前提:所有“问题”出现的机会相同或者所有问题同等重要。
自助法不被抽到样本的概率
数据集D中样本量n个,每次重复放回抽样p个,抽取m次,那么样本在m次抽样中始终不被抽到的概率是(n>1):
lim
m
→
+
∞
(
1
−
p
n
)
m
=
e
−
p
n
⋅
m
\lim _{m \rightarrow+\infty}\left(1-\frac{p}{n}\right)^{m}=e^{-\frac{p}{n} \cdot m}
m→+∞lim(1−np)m=e−np⋅m