独家 | 计算学习理论简介（附资源推荐）

作者：Jason Brownlee

翻译：陈超

校对：王琦

本文长度为3600字，建议阅读10+分钟

本文为大家介绍了如何使用计算学习理论研究机器学习任务和方法，并对其中比较重要的子领域PAC学习以及VC维进行了简要介绍。

计算学习理论，或者说统计学习理论，指的是量化学习任务和算法的数学框架。

 

对于机器学习领域的实践者来说，想找到大多数问题的优质解决方案，并不需要深度了解这些机器学习的子领域。尽管如此，在子领域中，对一些更重要的方法有一个较高水平的理解可能为数据中学习的更广泛的任务中提供洞见。

 

在本文中，你将会发现一个对机器学习的计算学习理论的简要介绍。

 

在读完本文之后，你将会了解到：

• 计算学习理论使用形式化的方法研究学习任务和学习算法

• PAC 学习提供了一个可以量化机器学习任务计算难度的方法

• VC维提供了一种可以量化机器学习算法计算能力的方法

 

让我们开始吧！

照片来自 someone10x，保留部分权利

教程概览

本教程共分为三个部分，它们是：

• 计算学习理论

• PAC学习（学习问题的理论）

• VC维（学习算法的理论）

计算学习理论

计算学习理论（https://en.wikipedia.org/wiki/Computational_learning_theory），或者简称CoLT，是与应用于学习系统的形式化的数学方法的使用有关的研究领域。

 

它致力于寻找理论计算机科学工具来量化学习问题，包括刻画学习特定任务的难度。

计算学习理论可能被认为是统计学习理论（或者简称SLT，https://en.wikipedia.org/wiki/Statistical_learning_theory）的延伸或者说是兄弟，两者都是使用形式化的方法来量化学习算法。

• 计算学习理论（CoLT）：学习任务的形式化研究

• 统计学习理论（SLT）：学习算法的形式化研究

 

学习任务和学习算法之间的区分是十分武断的，并且在实践中，这两个领域有很多重叠之处。

 

“当你考虑到学习器的计算复杂度之后，就可以对统计学习理论进行扩展，从而得到一个新领域。这个领域被叫做计算学习理