泛化理论 theory of generalization
bounding function B(N,K) :上限函数
B(N,3) break point 在3上
shatter 出现所有状况
dichotomies
有2个点 不能有2个break point ,shatter 有三种情况
有3个点, 不能有2个break point,shatter 有4种情况
所有N个点,不能有有1个break point,shatter都只有一个情况
有N个点,任何K个点不能shatter 最多能产生2的N次方种
那么B(N,K) 当N=K的时候有多少种情况 2的N次方-1
B(4,3)=2α+β
α+β≤B(3,3)
α≤B(3,2)
==>B(4,3)≤B(3,3)+B(3,2)
那么B(N,K)≤B(N-1,K)+B(N-1,K-1)
证明
第一步
把Eout代替成 Ein’
verification set D’
第二步
decompose H by kind
第三步
use hoeffding without replacement
抽出不放回
vapnik-chervonenkis(VC) bound: