机器学习基础（foundations of machine learning）第一章 PAC学习框架

前言

本系列是总结自纽约大学库朗所的知名课程，机器学习基础。
课程链接
Foundations of Machine learning(课本)

本章用基本定义

1. 假设集(hypothesis set)$H$: 将特征X映射到标签集合Y的函数集合。其中假设$h\in H$，并用h(x)表示我们对样本标签的预测，在确定情况下，这是一个数值，在非确定情况下，这是一个概率。
2. 概念类(concept set)$C$:概念c指的是一个从X到Y的映射($X\to Y$)，而概念类C指的则是我们可能想要学习的概念构成的集合。
3. 一致与不一致(consistent and inconsistent): 假设集包含了待学习的概念即为一致，否则为不一致。
4. 泛化误差(generalization error)$R$:$R(h)=Pr[h(x)\ne C(x)]=\underset{x\sim D}{E}[l_{h(x)\ne C(x)}]$
   ($h\in H$,$c\in C$,潜在分布$D$)
5. 经验误差(empirical error)$\hat{R}$:$\hat{R}(h)=\frac{1}{m}{\sum }_{i=1}^m{l}_{h(x)\ne C(x)}$。m为样本集容量。
6. 贝叶斯误差(Bayes error): $R^{\ast }=\underset{h}{\inf }R(h)$(给定h的下界)
7. 噪音(noise):给定一个在X*Y上的分布D，样本点x的噪音定义为： n o i s e ( x ) = m i n { p r [ 1 ∣ x ] , p r [ 0 ∣ x ] } noise(x)=min \left\{pr[1|x],pr[0|x]\right\} noise(x)=min{ pr[1∣x],pr[0∣x]}
   平均噪声$noise=E[noise(x)]=R^{\ast }$–可以用来衡量学习任务的难易程度。
8. 概率近似正确(Probably Approximately Correct(PAC)):通过衡量样本复杂度和算法所用的时间以及空间复杂度来定义可学习的概念类。
9. PAC可学习(PAC-learnable): 如果存在一个算法A，对于任意属于概念集C的目标概念c，并且样本规模$m\ge poly(\frac{1}{\epsilon },\frac{1}{\sigma },n,size(c))$的条件下(poly-多项式 $\epsilon ,\sigma >0$)
   $Pr[R(h_s)\le \epsilon ]\ge 1-\sigma$
   则我们称概念类C是PAC可学习的，算法A为PAC学习算法。
10. 泛化界(generalization bound):$R(h_s)$上界，我们一般用$\sigma$和m进行表示，$h_s$表示的是在样本集s上的指定假设。

本章数学公式

Hoeffding不等式

令 X 1 , . . . . X m X_1,....X_m