谈一谈PAC学习理论

这个系列的博客， 我将整理一下关于PAC 学习理论的知识。目的是用相对数学的角度，对PAC 理论的数学给出框架，再从通俗易懂的角度，给与相对直白的理解。

机器学习作为一个当下十分火热的话题，引来了无数学者的广泛研究。甚至高中已经开设了人工智能课啦。那么PAC 学习理论，也叫计算学习理论，解决了一个什么样的问题呢？

当你训练一个算法的时候，是否有时候问问自己以下几个问题呢？

譬如，这个学习算法最后可以收敛吗？有多大概率收敛呢？（把设计算法看作是买彩票的话，你有多大概率中奖呢？）

你需要多少样本呢？为什么需要这个数量的样本算法才能工作的很好呢？

下面，我们来一点点讨论下这个看似有些玄妙的问题。

我们先从 集中不等式 （Concentration inequality）说起。岔开话题显得很啰嗦，不过为了内容的完整性， 我们还是一步一步的来。

关于数学证明，只要是不太长的，我会在博文中直接给出，如果你被数学证明烦到了，就跳过证明直接来看结果。

集中不等式是数学中的一类不等式，描述了一个随机变量是否集中在某个取值附近。其实，这个概念对于只要熟悉本科概率论的朋友就不陌生， 因为本科的概率论里就有讲到过切比雪夫不等式。不过如果你还不熟悉，就按照我下面的引导来一步步看下去。我们实际要用到的是集中不等式中的Hoeffding 不等式，不过为了热热身，对集中不等式有点感觉， 我们先来两个简单的。

首先，介绍一个最简单的不等式，马尔科夫不等式。
马尔科夫不等式：对于一个非负随机变量$Z$，$P(Z\geq t) \leq \frac{\mathbb{E}[Z]}{t}$
证明：

∫∞0PZ(z)dz≤