这个系列的博客, 我将整理一下关于PAC 学习理论的知识。目的是用相对数学的角度,对PAC 理论的数学给出框架,再从通俗易懂的角度,给与相对直白的理解。
机器学习作为一个当下十分火热的话题,引来了无数学者的广泛研究。甚至高中已经开设了人工智能课啦。那么PAC 学习理论,也叫计算学习理论,解决了一个什么样的问题呢?
当你训练一个算法的时候,是否有时候问问自己以下几个问题呢?
譬如,这个学习算法最后可以收敛吗?有多大概率收敛呢?(把设计算法看作是买彩票的话,你有多大概率中奖呢?)
你需要多少样本呢?为什么需要这个数量的样本算法才能工作的很好呢?
下面,我们来一点点讨论下这个看似有些玄妙的问题。
我们先从 集中不等式 (Concentration inequality)说起。岔开话题显得很啰嗦,不过为了内容的完整性, 我们还是一步一步的来。
关于数学证明,只要是不太长的,我会在博文中直接给出,如果你被数学证明烦到了,就跳过证明直接来看结果。
集中不等式是数学中的一类不等式,描述了一个随机变量是否集中在某个取值附近。其实,这个概念对于只要熟悉本科概率论的朋友就不陌生, 因为本科的概率论里就有讲到过切比雪夫不等式。不过如果你还不熟悉,就按照我下面的引导来一步步看下去。我们实际要用到的是集中不等式中的Hoeffding 不等式,不过为了热热身,对集中不等式有点感觉, 我们先来两个简单的。
首先,介绍一个最简单的不等式,马尔科夫不等式。
马尔科夫不等式:对于一个非负随机变量 Z Z ,
证明: