face_adv 论文阅读

face_adv 论文阅读

1. 论文名

GENERATING TRANSFERABLE ADVERSARIAL PATCH BY SIMULTANEOUSLY OPTIMIZING ITS POSITION AND PERTURBATIONS
链接: 本文论文链接

附上链接
论文题目 获取信息 ，生成具有迁移性的patch ， 通过优化patch 的位置以及扰动大小

本人想的是，这个 position优化方法是什么，然后这个扰动 是不是用的tidi，怎么进行限制的。

1.1摘要

原文：Adversarial patch is one kind of important form to perform adversarial attacks
in the real world and brings serious risks to the robustness of deep neural networks. Previous methods generate adversarial patches by either optimizing their
perturbation values while fixing the position on the image or manipulating the
position while fixing the content of the patch. In this paper, we propose a method
to simultaneously optimize the position and perturbation to generate transferable
adversarial patches, and thus obtain high attack success rates in the black-box
setting. We adjust the transferability by taking the position, weights of surrogate
models in the ensemble attack and the attack step size as parameters, and utilize the
reinforcement learning framework to simultaneously solve these parameters based
on the reward information obtained from the target model with a small number
of queries. Extensive experiments are conducted on the Face Recognition (FR)
task, and the results on four representative FR models demonstrate that our method
can significantly improve the attack success rate and the query efficiency. Besides,
experiments on the commercial FR service and physical environments confirm the
practical application value of our method.
理解： 原先的方法都是固定pach 然后进行迭代优化 ，但是他们说他们可以边移动patch，边进行优化？ 神奇的很哈
参数调整部分 是通过，位置，权重

1.2想法

An overview of simultaneously optimizing position and perturbations based on reinforcement learning.
基于强化学习同时优化位置和扰动的概述。

1.3思路

文中写到使用的是ifgsm 进行的迭代。下面好像用的是强化学习（不会呀，难顶）

公式还是用的这个公式 ，就是限制扰动的区域在patch 区域内扰动

使用的是mifgsm 进行迭代，修改ρ的值是修改target_attack的

In our method, the parameter values are defined as the actions generated by the agent under the
guidance of the policy π, and at denotes the t-th action (i.e., the value of t-th parameter). The image
feature input to the agent is defined as the state s, and the environment is the threat model F(·). The
policy function πθ(a|s) with parameters θ is a rule used by the agent to decide what action to take,
which can be formulated as a probability distribution of action a in the state s.

这一块理解的就是分为一个 是根据不同任务来的，一个是target attack 一个是no tarhet attack的
网络模型图：

第一部分是使用的unet ，encode 跟decoder 进行编码解码作为basenetwork。
这边输出的是 same feature map的图 。 输出是nHW n是channel，H，height，w，width
从图上看 ，可以看到后面是计算一个，左边是计算的一个位置的positiion，右边是对单独的像素点进行的softmax？
右边的是对每个通道的 取平均值 进行计算一个softmax。
左边的位置patch 获取之后如何计算的这个目前还没太懂

1.4算法流程

这个流程我没仔细看了，说实话这篇没看懂。怎么通过网络去调节参数的，但是看效果，这个论文感觉很厉害，使用较少的查询次数，达到的攻击效果比其他的网络还好。
主要在最开始这个π这个参数，怎么由来的，没有仔细看，这个论文有时间的话，感觉可以深究一下。

1.5想法 可以改进的部分

膜拜大佬的吧