斯坦福CS229（吴恩达授）学习笔记（6）

说明

此笔记 是cs229-notes4讲义中的学习内容，与B站上的“09 经验风险最小化”视频对应，主要是该部分对应的习题解答。
课程相关视频、讲义等资料可参照《斯坦福CS229（吴恩达授）学习笔记（1）》 获取。

正文

Problem Set #2: Kernels, SVMs, and Theory

5. Uniform convergence

解答：
问题是说，如果有先验知识得知$\mathcal{H}$中存在使得$mi{n}_i\epsilon (h_i)=0$的$h_i$，那么是可以给$\epsilon (\hat{h})$求得一个比$2\sqrt{\frac{1}{2m}log\frac{2k}{\delta }}$更小的上界，即$\frac{1}{m}log\frac{k}{\delta }$。
可证明$\frac{1}{m}log\frac{k}{\delta }\le 2\sqrt{\frac{1}{2m}log\frac{2k}{\delta }}$。
$$\begin{array}{r}2\sqrt{\frac{1}{2m}log\frac{2k}{\delta }}\end{array}$$