机器学习5

机器学习第六章走起

接着上一章，对于break point 按照前面的规律来看，随着N的增大，我们的effective(N) 与pow(2,N)的差距越来越大

bound function 

就是成长函数的一个上限，我们刚才分析的成长函数是对于不同的H给与不同的分析，那我们有个目标，就是我们知道我们的N，然后知道第一个break point k

那么，我们直接由N,k这两个变量得到B(N,k)，就是一个上限函数

那么我们就专门对这个B（N，k）建立了一个表，然后来舔值。

显然当k = 1的时候，无论N是多少，B（N，k）都是1，

对于N <ｋ的时候，显然结果就是pow(2,N)

那么其他部分就是我们要填的重点。

首先我们来解决N 和 k相等的情况，B（1,1） = 1 B(2，2) =3 ,B（N,N） = POW(2,N) -1 

刚才一直没有明白为什么是pow(N,N)是直接减1，纠结这个问题，还是说明没有弄懂成长函数和bound function

成长函数 <= bound function 因为在这个点被break，说明至少有一个不能有，所以减1就是最大可能值，也就是上限，依据我们目前的信息，我们不能继续缩小这个上限，但是我们的成长函数是小于或者等于这个bound function的，所以这个值是个上限，和具体的某个H的成长函数想不想等完全就不用考虑===不知道我的理解对不对。

那我们要接着填表的剩余部分，比如B(4,3)我们要怎么填呢？

我们应该想办法和B(3,?)扯上关系吧。

对于B(4,3)我们通过代码罗列我们可以求出是11

现在我们来分析B(4,3)的一个解。

4个元素分别用X1，X2，X3，X4来表示，然后把B(4,3)的11中情况分为两种

一种是成双成对的，一种是形单影只的。

所谓成双成对是指X1，X2，X3都一样，只有X4不一样

而所谓形单影只就是不是上述情况。

显然对第一种情况数量设置为2α，而后面一种设置为β

这个时候，我们选择遮住X4，那么显然此时解的数量变为了α+β，因为2α遮住了X4，数量减半。

由于在k=3 的地方发生shatter ，所以显然有α+β ≤ B(3,3)

同时，对于成双成对部分的α个X1，X2，X3组合情况，其实我们应该可以想到这里面任意两个不能shatter k = 2的情况。这个直接理解不太好理解，可以这样想

如果X1，X2，X3的两个值，就假设是X1，X3吧，能shatter k =2，那么说明至少有4种吧，这个时候把X4加入进来，因为是成双成对的，所以每一种都乘2，所以至少8种了，显然shatter k=3了，而我们的前提是k =3 是第一个break point

所以得到 α ≤ B(3,2)

而B(4,3) = 2α + β,所以B(4,3)≤B(3,3)+B(3,2)

所以B(N,K) ≤ B(N-1,K) +B(N-1,K-1)

所以我们现在可以求出上限了

接着我们就可以利用边界值+数学归纳法去证明

B(N,k) ≤ (从i =0 到 k-1 求和)(组合从n个取i个)===我用公式编辑器粘贴不上来，先这样吧，等等我截图试试===

显然这个表达式的最高项就是pow(N,k-1)

所以说成长函数≤上限函数≤上限函数的上限≤某个多项式(pow(N,k-1))

===实际上我们所谓的上限函数和上限函数的上限是相等的，所以我们需要去证明不等式的另外一边，如果既大于等于又小于等于，那么就能说明等于。

那么现在我们可以把Ein 解决了，但是Eout还是无限的呀。

这个时候作者做了一些数学证明，再次取了N个点来作为Ein‘来替代Eout，这个地方作者也讲得很不清楚，他说大家没必要把数学看得这么深===

大概我理解哈，因为就是取两个数据D，那么这两个数据的结果差距可以来预估数据D和整体的差异，想想还是有点道理，如果整体和D差异很大的概率很小，那么再取一个D’，如果D‘和D差异很小，就说明D’和整体差异很大，那么D‘和整体差异大概率为p，所以要再整体和D差异大，但是D和D’差异小，需要D和D‘和整体都差异大，所以两者概率都为p，p*p概率太小，显然可以忽略，而且，和D与D'和整体差异大，可以往整体的正负两个方向走，所以实际概率肯定还要小于p*p。这是我的理解哈===

至于后面，感觉也是说得很模糊，没有理解得特别清楚，觉得作者本身也说得很牵强，但是作者都说，没必要讲得很清楚。===

后面再回头看一看吧，反正我被虐了===