2021-09-28

【论文笔记】 Adversarial examples for semantic segmentation and object detection/

2017年的ICCV

https://arxiv.org/pdf/1703.08603v3.pdf

论文的动机

作者观察到不论是语义分割还是目标检测都依赖图片中的多目标分类，目标可以是以像素为单位也可以某一区域，或者一个建议框。所以打算设计一个loss函数包含一系列像素点或者建议框
论文提出的方案

最主要的点：

关于目标集合的选取，研究者起初采用，模型最终输出的预测框形成集合，效果不是很好，最终通过提高NMS的阈值in RPN模块，从而大大提高了预测狂的数量，当IOU从0.7提高到0.9的时候，预测框的数量大概从300提高到3000.从RPN之后的建议框选择满足一下两个条件的建议框。
IOU和真实标签大于0.1
置信分数和真实标签大于0.1

实验验证

其中作者为了验证扰动是有结构性的，发现交换扰动的行特征之类的，造成的对抗性为不可计。

对比实验：

1.观察不同的稠密度的攻击效果
2.扰动规模对于结果
3.收敛度
图四可以看出来他的迭代收敛还是ok的
4.混合扰动
基于不同网络结构生成的扰动，如果相加则可以对两个网络多造成较好的攻击。

结论

论文定义了一个结果集合来进行loss的组成。生成的是不可见的微小扰动，于此同时作者研究对抗样本在不同网络结构，不同训练方案，甚至不同的任务中的迁移性。得到一个有效的简易的迁移方案，将各个网络生成的扰动进行相加即可以得到一个攻击性较好的对抗样本。