林轩田机器学习基石心得6：Theory of Generalization

0. 前言

该文章是本人观看视频后的一些心得，系统笔记请前往：
http://blog.csdn.net/red_stone1/article/details/71122928

1. Restriction of Break Point

1. 影响成长函数$m_H(N)$的两个因素：
   
   • 样本数量$N$
   • break point$k$

2. Bounding Function: Basic Cases

1. 
   
2. 上界函数bounding functionB(N,k)：Bound Function指的是当break point为k的时候，成长函数$m_H(N)$可能的最大值。
3. 上界函数的引入不考虑是1D postive intrervals问题还是2D perceptrons问题，而只关心成长函数的上界是多少，从而简化了问题的复杂度。
4. 我们只需要证明上界函数是多项式时间可求的，那么就能证明成长函数也是多项式时间可求的。
5. B(N,k)矩阵：
   
   • 当k=1时，B(N,1)恒为1。
   • 当N < k时，根据break point的定义，很容易得到B(N,k)=$2^N$。
   • 当N = k时，此时N是第一次出现不能被shatter的值，所以最多只能有$2^N-1$个dichotomies，则B(N,k)=$2^N-1$。
     

shatter：是指在该样本数时，无法用假设函数模拟出所有情况（即$m_H(N) \neq 2^N$)

3. Bounding Function: Inductive Cases

1. 对于2D perceptrons，break point为k=4,$m_H(N)$的上界是$N^k-1$。广一下，也就是说，如果能找到一个模型的break point，且是有限大的，那么就能推断出其成长函数$m_H(N)$有界。
2. B(N,K)中N大于k的部分：
   

4. A Pictorial Proof

1. Vapnik-Chervonenkis(VC) bound：（证明可看视频。）
2. 对于2D perceptrons，它的break point是4，那么成长函数$m_H(N)=O(N^3)$。因此证明成长函数有界—–>样本足够大则$E_{out} (x)\approx E_{in}(X)$。

总结

证明了只要存在break point，那么成长函数就是多项式时间内可求的，即机器学习就是可求的。本章节进行了一些推导。