Seeing is Not Believing Camouflage Attacks on Image Scaling Algorithms 论文阅读

论文阅读:Seeing is Not Believing: Camouflage Attacks on Image Scaling Algorithms

Xiao等人提出了针对图像预处理环节的欺骗攻击[32],该方法是一种针对插值算法的逆向攻击方法,当攻击图片被图像识别系统缩放后,被隐藏图片得以显现
图像缩放算法力求缩放之前和之后保留视觉特征。针对语义识别的攻击。

为什么图像缩放？

大多数深度学习CV应用程序都使用预训练的卷积神经网络（CNN）模型，该模型采用由这些模型的输入层定义的固定大小的数据。 因此，输入图像必须在数据预处理过程中进行缩放才能满足

图像缩放大多不需要用户来做，许多深度学习框架都在数据预处理模块集成了图像缩放

Introduction

由于图像缩放模块是基于开放图像处理库或开放插值算法构建的，因此图像缩放实现的可能方式相对有限。

Image Scaling Attack Concept and Attack Examples

An Overview of Image Scaling Algorithms

分辨率的调整

最近邻 (Nearest scaling)、双线性 (Bilinear scaling) 和双立方(Bi-cubic scaling)

最近邻：选择最近替换

双线性将一组相邻像素加权平均作为分配给目标像素的值。

Attack Examples

图像缩放算法广泛用于各种计算机图形应用程序，而不仅限于基于深度学习的计算机视觉系统。

Empirical Study of Image Scaling Practices in Deep Learning Applications

对于从固定输入源（例如摄像机）接收输入数据的深度学习应用程序，输入数据格式自然是确定的。 即使在这种情况下，我们发现在某些情况下仍需要调整图像大小。

Formalizing the Scaling Attack

本节描述了典型的扩展攻击的目标以及我们如何设计一种自动创建具有欺骗效果的攻击图像的方法

Attack Goals

attack image 输入文件

source image 攻击者期望像的图片

output image 缩放功能输出图像，维度改变

target image 攻击者期望output像的图像，维度改变

攻击过程就是在视觉相似性约束下？？？

使用source image和target image制作一个attack image

两种攻击模式：

strong attack form:同时指定源图像和目标图像 source-to-target attack

the weak attack form：仅指定目标图像，攻击者的目标是在图像缩放之前和之后尽可能地增加差异。

An Autonomous Approach on Attack Image Generation

攻击图像=源图像+扰动矩阵1

输出图像=变换攻击图像

ScaleFunc() is a surjective function(推论函数） ？？？

输出图像和目标图像要尽可能像

由于 surjective effect可以找到多个攻击图像，所以要找最好的，S和A最像并且D和T差异有上限

将缩放攻击形式化为一个约束优化问题

INmax是当前图像格式中的最大像素值。

弱攻击形式 攻击者的目标是在图像缩放之前和之后尽可能地增加差异。

Creating Scaling Attack Images

Empirical Analysis of Scaling Functions

首先找函数的适当表达式，假设先在水平插值再在垂直插值

CL水平 CR垂直

6代回4

Attack Image Crafting: An Overview

两步走战略：得到系数矩阵、得到扰动矩阵1

首先，得到CL和CR，然后用目标图像生成S星，之后得到扰动矩阵，类似的求解另一个扰动矩阵

第六行和第十一行不一样

Coefficients Recovery

可能的攻击应用：

①数据中毒：通过向公开数据集（如ImageNet）中注入经过缩放攻击篡改过后的图像，比如放入一张看上去是羊的图片，并且标签也是羊，但通过缩放后实际是狼，通过这样让数据中毒攻击更加隐蔽，使得数据集使用者无法发现这种数据污染。

②逃避内容审查。内容审查是最广泛使用的计算机视觉应用程序之一。许多供应商提供内容过滤服务，以防止攻击性内容。攻击者可能会利用缩放攻击来避开这些内容，传播不适当的图片，这可能会在线社区引发严重问题。例如，假设攻击者想在iPhone XS上向用户发布非法药物广告。攻击者可以使用缩放攻击来创建一种伪装效果，使iPhone XS浏览器上的缩放结果是预期的药物图像，而原始大小的图像包含良性内容。

③利用显示器之间的不一致进行欺诈。攻击者可以使用缩放攻击创建具有欺骗性的数字合同。攻击者可以创建一个包含扫描合同的图像文档，但当缩放到不同的比例时呈现不同的内容。然后，攻击者可以让双方共享同一文档。如果它们使用不同的浏览器，那么显示的内容也会不同。这种不一致可能导致潜在财务欺诈。

的不一致进行欺诈。攻击者可以使用缩放攻击创建具有欺骗性的数字合同。攻击者可以创建一个包含扫描合同的图像文档，但当缩放到不同的比例时呈现不同的内容。然后，攻击者可以让双方共享同一文档。如果它们使用不同的浏览器，那么显示的内容也会不同。这种不一致可能导致潜在财务欺诈。