IJCAI 2021 | 腾讯和复旦联合出品：Adv-Makeup人脸黑盒攻击对抗算法

分享一篇来自 IJCAI 2021 的论文：Adv-Makeup: A New Imperceptible and Transferable Attack on Face Recognition，由腾讯和复旦大学联合出品：人脸黑盒攻击对抗算法：Adv-Makeup。

• 论文名称：Adv-Makeup: A New Imperceptible and Transferable Attack on Face Recognition‍‍‍‍‍‍

• 论文链接：https://arxiv.org/abs/2105.03162

      01      

引言

当前对人脸识别系统进行黑盒攻击的算法中比较出名的算法有 Adv-hat 和 Adv-Glasses。该论文又提出一种更有趣更高效的黑盒攻击算法—— Adv-Makeup，它为生成人脸对抗样本提供了另一个新的思路，即对抗扰动隐藏在你的妆容中。该方法能够在黑盒环境下实现可感知和可转移的攻击。为了实现可移植性，并且实现了一种细粒度的元学习对抗攻击策略，以从各种模型中学习更多的一般性攻击特征。

      02      

论文贡献

该论文的贡献可以总结为如下四条：

• 作者提出的黑盒攻击方法 Adv-Make 可以在数字和物理场景下实现对人脸识别模型进行不可察觉和可迁移的攻击。

• 为了增强黑盒对抗攻击的不可感知性，作者引入了 Makeup 生成模块，可以在眼眶区域添加自然眼影。

• 作者提出了一种 Makeup 混合策略，以确保原图像和生成图像之间的风格和内容的具有一致性，从而进一步提高合成人脸的自然度。

• 作者提出了一种任务驱动的细粒度元学习的对抗攻击策略，提高了对抗样本在黑盒受害者模型上的可迁移性。

      03      

模型方法

Adv-Makeup 框架包括三个组成部分如下图所示，即 Makeup生成模块、Makeup 混合模块和 Makeup攻击模块。以没有化妆的源面部人脸图像和带有化妆的人脸图像作为输入，Makeup生成模块可以合成出具有逼真眼影的人脸。Makeup混合模块是为了进一步提高生成的对抗样本在视觉上不可区分的质量。Makeup攻击模型引入细粒度的元学习方法，进一步提高了黑盒条件下对抗攻击的可迁移性。

3.1Makeup生成模块

给定源图像 和化妆图像 ，使用人脸对齐方法去生成不同人脸的围绕双眼的Bounding-Box分别为 和 。将 作为生成器 的输入，并生成人脸眼影 。接下计算区域