机器学习系列笔记(六)

泛化理论 theory of generalization

bounding function B(N,K) :上限函数

B(N,3) break point 在3上

shatter 出现所有状况

dichotomies

有2个点 不能有2个break point ,shatter 有三种情况
有3个点, 不能有2个break point,shatter 有4种情况

所有N个点,不能有有1个break point,shatter都只有一个情况
有N个点,任何K个点不能shatter 最多能产生2的N次方种

那么B(N,K) 当N=K的时候有多少种情况 2的N次方-1

B(4,3)=2α+β
α+β≤B(3,3)
α≤B(3,2)
==>B(4,3)≤B(3,3)+B(3,2)

那么B(N,K)≤B(N-1,K)+B(N-1,K-1)
证明

第一步
把Eout代替成 Ein’
verification set D’
第二步
decompose H by kind
第三步
use hoeffding without replacement
抽出不放回

vapnik-chervonenkis(VC) bound: