本文讨论了如何通过限制模型的利普西茨常数来提高对抗性稳健性，如ParsevalNetwork中的正交约束。然而，这在抵御强力攻击上效果有限。文章还介绍了卷积神经网络的基础结构，包括卷积、池化以及softmax和交叉熵损失在内的重要组件。
今日论文：Improving Adversarial Robustness by Learning Shared Information（未完）
对抗正则化
正则化的目的：限制解空间，防止过拟合
利普西茨常数
C = s u p ∣ f ( x 1 ) − f ( x 2 ) ∣ x 1 − x 2 C=sup \frac {\left| f(x_1)-f(x_2) \right|}{x_1-x_2} C=supx1−x2∣f(x1)−f(x2)∣
如果一个函数的利普西茨常数非常小，那么这个函数对输入也就不那么敏感，从而使得“微小”的扰动无法改变函数的输出结果。
Parseval Network
限制网络的利普西茨常数常数。对所有线性层（包括卷积层、全连接层）的权重矩阵W施加一个正交的约束
但是限制模型的利普西茨常数只能有限度地增强模型的对抗稳健性，并不能有效防御较强的对抗攻击。
深度学习视频
1.1卷积
卷积层
卷积的目的：进行图像特征的提取
卷积特性：拥有局部感知机制；权值共享
卷积核的channel==输入特征的channel
卷积核的个数 == 输出特征的channel
池化层
目的：对特征图进行稀疏处理，减少数据运算量
1.2 卷积神经网络基础
softmax
交叉熵损失
扫一扫
977
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
