【视频学习】VALSE短课程《对抗攻击与防御》byXingjun Ma

1.Xingjun Ma

 

墨尔本大学的Xingjun Ma的讲座 迅速概述一下20200408

【背景】对抗样本攻击

加入噪音【图像识别、文本相关等】可能导致千差万别的结果

 

 分类：

 攻击和防御两方面。

具体方法：

白盒攻击：FGSM（早但是常用），现在还有很多别的方法

怎么看待对抗样本：

神经网络层级是从低维到高维的，高维中有low probability的忽视的区域，2018研究了空间维度，对抗样本是低维到高维的逃逸。

 学习

 学习decision surface到底多少数据才够

 DNN是一系列线性操作，即使x变化小，加起来y变化也很大

对抗防御 

1.生成对抗样本用于训练

关键：生成的对抗方法是不是够general

在原始样本周围生成，强迫判断边界比较smooth  

 介绍自己的工作

MART

本来就分错的怎么处理？把loss分了 ，比较发现效果好了

semi-supervised：用更多的数据提高鲁棒性（PGD真难呀）

 trasfer ability：

 A/B：A表示白盒攻击的成功率 B 是黑盒的

每次走跳连 黑盒高白盒几乎不变一直很高，一走卷积下降特别快

 降低走残差尽量走跳连，DN201提高了三十个点。。参数很厉害啊

 与其他方法结合：

 应用：对抗隐藏（真实世界中的对抗样本）

 style转移+对抗样本，生成的对抗样本更真实【自动驾驶等】

 攻击+风格转移

几种不同的攻击： 笑死，攻击能变成这样

 自己加了几块，结果生成变化很多（还是手动选框）

 加了对抗攻击的图片搜不出你，能保护隐私哈哈哈、

model的脆弱性

2.Zhanxing Zhu

北京大学数学系的，对抗训练+防御

 patch pixol 形变 实际上图片attack……DNN很脆弱 

 转化为优化问题

 

对抗攻击了可以获得更加细致的边界

 方法限制：

 2

证明不必要每次都要反向传播梯度（右下角图），而是可以固定住只更新和前一层相连的部分，隔一段在更新，（相当于把后面冻住）

 算法概述

 3 AMATA

只需要网络初期近似，迭代大步向前、次数少一点，后面次数多更精细步子小一点

基于最优控制，平衡误差和计算代价【退火算法？】

 加速了收敛，PGD40步的工作和2步差别不大和新方法相差不大，但如果优化后期参数找的比较好，步数就多了。效果变化 

D~是干扰后的，D是干净样本，以一定概率覆盖空间，采的均匀

 据说随机梯度很复杂的数学？回去看看

 decay比较慢

 4 探索adv训练的作用

大象皮肤纹理+猫=大象……？texture-biased？目的：像人一样更看重shape

分割：正常方法可以，对抗攻击的不行

 饱和度改变：对抗样本可以很好分辨出还是熊

 对抗样本还可以提高泛化性：

 找worst case

 

 噪声类型

 

茶话会：

 1.结合模型 不同模型不一样

还有可能是本身精度造成的近似导致error？

攻击是安全性，防御是鲁棒性，因此防御难

data representation

discriminative？global? 苏杭老师 朱瞻星老师

  自监督学习：学representation，有助于学习adversarial sample

 

 not numerical preceptional

对抗：欺骗机器而骗不了人 探索模型边界 压力测试 提供应用的可靠背景

人类视角or机器视角，衡量机器的标准是像不像人

分辨是否是对抗样本是一个二分类问题 easy

数学上定义可解释性？？？？？没法处理，如果知道所有漏洞，全部白盒非常透彻，那么攻击非常清晰，能有鲁棒性可解释性那就肯定了

智能到智慧………………？

图上很容易攻击，加一条边可能就天壤之别

通过attack哪个影响大能分析深度学习的特点

黑盒攻击= =

1.defense

找一个模型，一个数据 充分理解

（SVM贝叶斯模型等，研究明白了怎么鲁棒性）

99%鲁棒的单元，把这个东西或者机制最大化、生成新的系统或者机构，鲁棒性和现有模型相比有无提高

全面透彻的分析，generalize到深度学习上

CVPR2020修改数据 测试数据 可以特定方式分成特定类别（加一个小棋盘会把是否有罪画反）

不是特别认可= =poisoning attack 修改训练数据集？为什么会得到数据集和模型？

复述别人模型？？？马老师

传统min-max；框架改一改？

min-min 打破认知 friendly adversiral training

朱占星（北京大学）、马兴军（墨尔本大学）、苏航（清华大学）、韩波（香港浸会大学）