计算学习理论介绍

现今，机器学习和神经网络已经广为人知。每年有无数篇论文发表，光顶会NIPS每年就有四百篇左右的论文发表。各种应用包括机器翻译、机器阅读等领域都在快速发展。但是，我觉得，我们做研究的人不能被这些表象所迷惑，真正来说，机器学习（后面机器学习就泛指机器学习、神经网络以及深度学习等等）实际上仍然处于初期中期阶段，简单地从时间上来看，距今连一百年都没有。

对于任何学科，理论都是基石，然而机器学习却表现得很让人担心，因为其理论发展速度和其应用发展速度极其不匹配。虽然机器学习在各个领域都取得了不错的成就，但是其理论发展仍然处于探索之中，这种情况不得不让人忧心。

为什么说理论重要？就以机器学习而言，理论的作用有两个，一个作用是理论保证机器学习能够达到预期的效果，为各个机器学习算法提供理论保证，另一个作用是为机器学习算法的设计和使用提供指导，比如一个新算法理论证明是不可靠的，或者只有在一定条件下可靠的，比如理论证明了一个算法如果要达到一定的效果需要多少样本，需要什么样的样本等等。

机器学习的理论一般称之为计算学习理论。计算学习理论最成熟最古老的是PAC（Probably Approximately Correct，可能近似正确）学习框架（这里我把VC维和Rademacher复杂度也归类到这套理论里），最早由Valiant在1984年提出，经过这么多年的发展已经非常完善，但问题是这套理论有一定的限制性&