1. Recap: the ‘Statistical’ Learning Flow
如果 H \mathcal{H} H不是很大并且 N N N足够大,那么就可以保证 E i n ≈ E o u t E_{in}\approx E_{out} Ein≈Eout,而且与 A \mathcal{A} A实际上是如何工作的无关。
assumption:训练和测试的数据都来自同一个distribution。
训练时要保证 E i n ≈ 0 E_{in}\approx 0 Ein≈0,测试时要保证 E i n ≈ E o u t E_{in}\approx E_{out} Ein≈Eout。
2. Two Central Questions
机器学习包括两个方面:
- 保证 E i n ≈ E o u t E_{in}\approx E_{out} Ein≈Eout
- 保证 E i n ≈ 0 E_{in}\approx 0 Ein≈0
3. Trade-off on M
H \mathcal{H} H的大小 M M M与上面两个核心问题的关系:
4. Preview
目前得到的结论:在 M M M有限大时
要解决的事情:
#5. Fun Time