本文深入探讨了神经网络的两个有趣特性：1) 语义信息存在于神经元激活的整体空间而非单个神经元；2) DNN的输入-输出映射不连续，导致对抗样本的存在。对抗样本通过优化问题生成，且具有跨模型和数据集的泛化性。作者提出对抗样本可能对应流形中的低概率区域，类比于有理数在实数集中的稠密性。
Intriguing properties of neural networks（ICLR2014）
这篇文章被认为是对抗样本的开山之作，首次发现并提出了对抗样本，作者阵容豪华，被引了很多次。但是文章的名字是《神经网络有趣的特性》，着重理解一下作者笔下神经网络的特性，特别是作者对对抗样本的解释，之后还有其他角度解释的文章。
对抗样本
文章通过求解以下优化问题找到对抗样本：
Minimize c ∣ r ∣ + loss f ( x + r , l ) subject to x + r ∈ [ 0 , 1 ] m \text { Minimize } c|r|+\operatorname{loss}_{f}(x+r, l) \text { subject to } x+r \in[0,1]^{m} Minimize c∣r∣+lossf(x+r,l) subject to x+r∈[0,1]m
其中 c c c是控制 ∣ r ∣ |r| ∣r∣的大小， r r r对样本 x x
最低0.47元/天 解锁文章
3605
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
