【读论文0628】Does Learning Require Memorization? A Short Tale about a Long Tail∗

这篇记录没啥用，这个论文我没看懂
Does Learning Require Memorization? A Short Tale about a Long Tail

发表时间：STOC 2020 （ACM SIGACT Symposium on Theory of Computing）

---

论文内容

研究问题

分类模型对训练数据的记忆是否必要。

Intuition

即使标签随机分配，模型也能达到很低的训练误差。这种不可预测的标签也能拟合，只有通过全部记住样本和它对应的标签。

具体分析

泛化误差：
$${\text{err}}_P(h)={\text{err}}_S(h)+({\text{err}}_P(h)-{\text{err}}_S(h))$$

• ${\text{err}}_p(h)$–泛化误差
• ${\text{err}}_s(h)$–经验/估计误差
• $P$–数据分布
• $S$–训练集
  通过模型复杂度或者算法稳定性近似。

应该是这个论文里最重要的一个结论：
$$\overline{\text{err}}(\pi ,\mathcal{F},\mathcal{A})\le \text{(}opt)(\pi ,\mathcal{F})+{\tau }_1\cdot \text{E}[{\text{err}}_S(\mathcal{A},1)]$$

• $\overline{\text{err}}(\pi ,\mathcal{F},\mathcal{A})$是对算法$\mathcal{A}$的期望泛化误差。
• $\text{(}opt)(\pi ,\mathcal{F})$ 是任意算法最小可达误差。
  什么意思。。。没懂

$${\tau }_1:=\frac{{\text{E}}_{\alpha \sim {\overline{\pi }}^N}[{\alpha }^2\cdot (1-\alpha {)}^{n-1}]}{{\text{E}}_{\alpha \sim {\overline{\pi }}^N}[\alpha \cdot (1-\alpha {)}^{n-1}]}$$

${\overline{\pi }}^N$平滑版本的$\pi$。$\pi$是类别频率边界分布。