机器学习基础 之 计算学习理论

转自： https://www.zhenxiangsimple.com/2019/04/11/tech-ml-jsxxll/

---

  本章节以概念介绍为主，计算学习理论为了研究通过“计算”来进行“学习”的理论，即研究机器学习的理论基础，目标是分析学习任务的困难本质，为学习算法提供理论保证，并根据分析结果指导算法的设计。

PAC学习

  PAC指概率近似正确（Probably Approximately Correct），是计算学习理论最基本的学习理论，是指以比较大的概率学习得到误差满足预定上限的模型。

PAC辨识

  在指定的误差范围内，学习算法可以得到一个映射关系满足误差，则称为该算法PAC辨识，数学表达为：
对$0<ϵ,\delta <1$，若存在学习算法，使得其映射函数h满足：
$P(E(h)\le ϵ)\ge 1-\delta$
则，称该学习算法，能从映射空间中中PAC辨识该映射关系（概念类C）

PAC可学习

  如果任意分布，存在学习算法对某一映射关系能够PAC辨识，则称对该关系PAC可学习。

PAC学习算法

  若学习算法使得映射关系为PAC可学习的，切算法的运行时间也是多项式函数 p o l y ( 1