【论文笔记】A Closer Look at Accuracy vs. Robustness

去年这时候看的文章。。。主要研究了模型鲁棒性和准确性的tradeoff，提出在一定情况下，同时实现鲁棒性和准确性是有可能的。

发现了文章解析，极市平台

Contribution

1.通过实验测量，我们发现多个图像数据集是分离的

2.我们证明了这种分离意味着存在一个鲁棒且完全精确的分类器，该分类器可以通过对局部Lipschitz函数进行舍入来获得。与先前的推测[12,16,57]相比，鲁棒性和准确性原则上可以同时实现。

3.研究了当前训练方法产生的分类器的平滑性和泛化特性。我们观察到，AT、TRADE和RST的训练方法产生了健壮的分类器，也存在较大的泛化差距。我们将这些稳健的训练方法与dropout相结合，并表明这缩小了泛化差距，有时使分类器更平滑。（百度翻译真好用啊。。）

Motivation

鲁棒性可能导致精度降低的一个合理原因是，不同的类别非常接近，甚至可能重叠（这是不可避免的tradeoff的基础）。但作者从四组数据集测试出，他们满足一种被作者称为r-separation的特性。

Preliminaries

这里主要贴一下Local Lipschitzness和r-separation.
再补一下百度百科的李普希兹条件：
接下来就是本文的重点啦！

Real Image Datasets are r-Separated

这一部分主要探讨了一些真实图片的数据集之间不同分类图片的距离，作者通过最近邻搜索得出了训练集与训练集、训练集与测试集之间不同分类图片之间的最小距离（这里作者用的是$l_{\infty }$）:
这里的扰动值$\epsilon$作者选取的是各数据集的典型扰动值。可以看出即使是最小距离也是典型扰动值的三到七倍。接下来作者将讲述这个距离跟准确性和鲁棒性的关系。

Robustness and Accuracy for r-Separated Data

先放一个引理
其中f(x)、g(x)的定义为：

结论：

水平实在是有限，贴一下链接里的证明：