Lecture 2 Classifier between Pokemon and Digmon

Lecture 2: Classifier between Pokemon and Digimon

宝可梦、数码宝贝分类器

Pokemon / Digimon Classifier

Observation

Function with Unknown Parameters

Loss of a function (given data)

Training Examples

如上图所示，在理想情况下，我们希望从所有的 Pokemon 和 Digimon 中找到最佳的阈值 $h^{all}$；而实际情况是我们只有部分的 Pokemon 和 Digimon 数据，因此我们根据训练数据只能得到阈值 $h^{train}$。我们希望 $L(h^{all},D_{all})$ 和 $L(h^{train},D_{all})$ 越接近越好。

如上图所示，我们假设目前的图鉴中的所有 Pokemon 和 Digimon 的数据作为 $D_{all}$，计算出最佳的 $h_{all}=4824$ 和 $L(h_{all},D_{all})=0.28$。

接下来，在不同的训练集上计算 $h_i,L(h_i,D_{{train}_i})$：

上图中 $L(h^{train1},D_{train1})<L(h^{all},D_{all})$ 是因为前者只在 $D_{train1}$ 上计算了损失。我们真正关心的是 $L(h^{train1},D_{all})$。此时非常幸运，理想和现实统一了。

上图这种情况，理想与现实差距较大。

我们希望理想与现实无限接近，即：
$$L(h^{train},D_{all})-L(h_{all},D_{all})\le \delta \text{\hspace{1em}(1)}$$
$\delta$ 是需要指定的。那么，什么样的训练集 $D_{train}$ 能够满足式 $(1)$ 要求呢？
$$\forall h\in \mathcal{H},|L(h,D_{train})-L(h,D_{all})|\le \delta /2\text{\hspace{1em}(2)}$$
$\mathcal{H}$ 见 [Function with Unknown Parameters](#Function with Unknown Parameters)。当训练集 $D_{train}$ 满足式 $(2)$ 时，理想与现实就能无限接近。此时的 $D_{train}$ 是 $D_{all}$ 的一个足够好的代表，在给定任意 $h$ 的情况下，计算出的 $Loss$ 都相差不大。以式 $(2)$ 为前提，式 $(1)$ 的证明如下：

第 $1$ 和 第 $3$ 行，将式 $(2)$ 中的绝对值打开、移项、带入不同的 $h$ 就能得到；第 $2$ 行，用了一个简单的放缩

将式 $(2)$ 换一种表达方式，如下图所示；同时提出问题 —— 抽样到坏训练集的概率有多大？

Probability of Failure

接下来的讨论需要注意以下几点：

如上图所示，图中的每个点代表一组训练集，训练集的好坏用不同颜色标出；我们的目的是估计出橙色点出现的概率：

对坏训练集的定义如下：

考虑到重叠的情况，需要对 $P(D_{train}isbad)$ 加上上界，即下图中的求和式子：

由霍夫丁不等式：

Example

Model Complexity

Tradeoff of Model Complexity

我们期待更大的 $N$ 和 更小的 $|\mathcal{H}|$ 以实现理想与现实的统一；但是更小的 $|\mathcal{H}|$ 会导致更大的 $L(h^{all},D_{all})$，在一个更大的损失上维持理想与现实的统一是没有意义的。我们要做的是平衡这两者的关系 —— 引出 Deep Learning。