[1] Lipschitz-Margin Training: Scalable Certification of Perturbation Invariance for Deep Neural Networks
Yusuke Tsuzuku, Issei Sato, Masashi Sugiyama
The University of Tokyo
https://papers.nips.cc/paper/7889-lipschitz-margin-training-scalable-certification-of-perturbation-invariance-for-deep-neural-networks.pdf
神经网络对于输入中的扰动具有较高的敏感性。作者们为了得到稳定鲁棒的分类器,提出应对扰动的神经网络。先前的工作对网络结构进行了较强的假设,计算量也大,这就导致其应用范围有限。
根据利普希茨常数和预测间隔的关系,作者们提出一种高效的计算方法,用来生成对抗干扰的下界,这种方法广泛应用于多种复杂的网络。他们还提出了一种高效的训练过程,使得网络具有鲁棒性。
利普希茨边界训练算法过程如下
谱范数计算过程如下
不同方法的效果对比如下
代码地址
https://github.com/ytsmiling/lmt