机器学习基石笔记5——为什么机器可以学习 (1)

      致敬杜少

 

Lecture 5.  Training versus Testing

5.1 Recap and Preview

        第四章介绍在假设空间有限的情况下， PAC 保证 E_in  和 E_out  足够的接近。 但是没有告诉我们如何让 E_in 足够的小。

                                                                           图 5-1 

         如果 M 很小， PAC 保证 E_in  和 E_out  足够的接近。 但是 M 很小，不能保证存在一个 E_in 足够小的 h。

如果 M 很大，有可能存在 E_in 很小的 h。 但是 PAC 下， E_out 不一定是很小。显然M趋于无穷大时，表现非常不好，如何解决这个问题呢？

          $$ \mathbb{P}[| E_{in}(g) - E_{out}(g)| > \epsilon ]\leqslant 2M exp(-2\epsilon^2N) $$                                                                                     公式 5-1

        在第四节，我们得出公式 5-1。 现在看下是否能够找到一个较小的 m 来替代 M （很大或无穷）

                $$ \mathbb{P} [| E_{in}(g) - E_{out}(g) | > \epsilon]\leqslant 2m_\mathcal{H} exp(-2\epsilon^2N)$$                                                                        公式 5-2

 

5.2 Effective Number of Lines

 

                                                                                    图 5-2

          如图 5-2 所示， M 是 union bound ，也是上界但不是上确界。

                 

                                                                                                图 5-3

          如果有 2 个很接近的 hypothesis h1， h2 。 如图 5-3 所示 h1, h2 的 BAD DATA 集也基本上重合。  union bound over-estimating 上界。为了解决 overlap 问题，我们能不能尝试将相似的 hypothesis 分类？我们先举个例子，用一个点来看二元线性分类问题。如图 5-4 所示，一个点能把 hypothesis 从效果上分为2 类

                                

                                                                         图 5-4

          如图 5-5 所示， 2 个样本点可从效果上将 hypothesis 分为 4 类

                                                                         图 5-5

          继续观察 3 个样本点的情况， 可以看出最多有个 8 种情况。

                           

                                图 5-6                                                                                                      图 5-7                                                                                                                 

　　                                   

       继续观察 4 个样本点的情况， 可以看出最多只有 14 种情况

        

                           图 5-8

 

        我们可以看出 hypothesis 种类最多是 2^N 。

 

5.3 Effective Number of Hypothesis

       我们准备来用样本点来 group hypothesis， 但是存在一个问题。就好像 5.2 节所谈到的，3 个样本点既能把 hypothesis 分类 8 种，也能把 hypothesis 分类位为 6 种。碰到这种问题我们该怎么办？ 为了方便后续的证明，我们取所有情况下最大的值。将样本点数 group H (x₁, x₂, ... x_N ) 的最大值定义为 groupth function。

       我们先看 3 个简单的 hypothesis 的 groupth function

 

                               图 5-9

        从图 5-9 中可以看出， effective(H) 要远小于 2^N   （除了 convex sets）

$$ \mathbb{P} [| E_{in}(g) - E_{out}(g) | > \epsilon]\leqslant   2 effective(\mathcal{H}) exp(-2\epsilon^2N)$$    

5.4 Break Point

        

                                                                        图 5-10

             对平面上的二元分类或者其它问题。if no K inputs can be shattered by H， call K a beakpoint of H. also K+1, K+2 ... breakpoints too. 我们将 breakpoint 称之为一线曙光， 因为这意味 effectvie hypothesis is represented by a polynomial ！

 

题外话：

           1. 第 5 节课程名为 Training and Testing， 但是没看到 Training 和 Testing 相关的～～

           2. 5.2 节许多知识，没有写到本笔记中来了。那些内容不是很复杂，很容易看出来不需要写进来备忘。其它同学还是看杜少的笔记，不要被我误导了

           3. 5.3 将例子相关的全部跳过

           

 

转载于:https://www.cnblogs.com/tmortred/p/8047507.html