Training versus Testing
Recap and Preview
- 静态学习流程:
- 如果 ∣ H ∣ = M |\mathcal H| = M ∣H∣=M有限, N N N足够大
- 对任意一个被选择的 g g g, E o u t ( g ) ≈ E i n ( g ) E_{out}(g) \approx E_{in}(g) Eout(g)≈Ein(g)
- 如果选择了一个 g g g, E i n ( g ) ≈ 0 E_{in}(g) \approx 0 Ein(g)≈0,PAC保证 E o u t ( g ) ≈ 0 E_{out}(g) \approx 0 Eout(g)≈0(学习可行)
- 由之前的课程可知,M的取值太大或者太小都很不好
- 无限大的M(PLA中),会产生什么样的影响?
Effective Number of Lines
- 在假设个数有限时,我们在考虑坏数据的范围时,使用各个假设坏数据集合的并集表示,因为他们大概率不会重叠
- 如果两个假设很接近,我们认为他们的坏数据集合是部分重合的
- 因此单纯地直接将概率相加得到的上限是过分估计的,导致无法处理M为无限大的情形
- 思路:可否把假设归类,找出类别之间的重叠
- 按照对有限个数据的归类方式归类
- 对N个数据,会有最多 2 N 2^N 2N个类别
- 可以将无限大的右项替换成一个有限项进而进行分析
Effective Number of Hypothesis
- 针对既有点的可行的划分情况:二分图(dichotomy)
- 定义 H ( x 1 , x 2 , … , x N ) = ( h ( x 1 ) , h ( x 2 ) , … , h ( x N ) ) \mathcal{H}(\bold x_1,\bold x_2, \ldots, \bold x_N) = (h(\bold x_1), h(\bold x_2), \ldots, h(\bold x_N)) H(x1,x2,…,xN)=(h(x1),h(x2),…,h(xN))为定义在数据 x 1 , x 2 , … , x N \bold x_1,\bold x_2, \ldots, \bold x_N x1,x2,…,xN上的全部二分图
- 所有二分图的集合内容个数上界最多为 2 N 2^N 2N
- 考虑到n个数据点的二分图结果依赖于数据本身,我们将理论成长函数取所有情况的最大值:
- m H ( N ) = max x 1 , x 2 , … , x N ∈ X ∣ H ( x 1 , x 2 , … , x N ) ∣ m_{\mathcal H}(N) = \max\limits_{\bold x_1,\bold x_2, \ldots, \bold x_N \in \mathcal X}|\mathcal H(\bold x_1,\bold x_2, \ldots, \bold x_N)| mH(N)=x1,x2,…,xN∈Xmax∣H(x1,x2,…,xN)∣
- 四类成长函数:
- 正向一维数据: m H ( N ) = N + 1 m_{\mathcal H}(N) = N +1 mH(N)=N+1
- 正向一维区间: m H ( N ) = 1 2 N 2 + 1 2 N + 1 m_{\mathcal H}(N) = \frac12N^2+\frac12N+1 mH(N)=21N2+21N+1
- 凸二维集: m H ( N ) = 2 N m_{\mathcal H}(N) = 2^N mH(N)=2N
- 二维感知器: m H ( N ) < 2 N m_{\mathcal H}(N) < 2^N mH(N)<2N
Break Point
- 如果使用
m
H
(
N
)
m_{\mathcal H}(N)
mH(N)代替M估计上界:
- 优点:避免无限大M对结果的影响
- 缺点:指数增长
- 突破点:以二维感知器空间为例,不再得到指数个二分图的输入个数
- m H ( k ) < 2 k m_{\mathcal H}(k) < 2^k mH(k)<2k
- 往后的k都是突破点
- 目前只考虑最小的k(也就是4)