Universal 3-Dimensional Perturbations forBlack-Box Attacks on Video Recognition Systems

五一假期的时间读完了这篇文章，接下来是一些自己的总结。

阅读的过程中发现会遇到很多新的名词，我做了相关的查询，会在每一部分的最后罗列出来。

Abstract

摘要部分十分重要，这里放了原文供大家阅读。

Abstract—Widely deployed deep neural network (DNN) modelshave been proven to be vulnerable to adversarial perturbations inmany applications (e.g., image, audio and text classifications). Todate, there are only a few adversarial perturbations proposedto deviate the DNN models in video recognition systems bysimply injecting 2D perturbations into video frames. However,such attacks may overly perturb the videos without learningthe spatio-temporal features (across temporal frames), which arecommonly extracted by DNN models for video recognition. To ourbest knowledge, we propose the first black-box attack frameworkthat generates universal 3-dimensional (U3D) perturbations tosubvert a variety of video recognition systems. U3D has manyadvantages, such as (1) as the transfer-based attack, U3D canuniversally attack multiple DNN models for video recognitionwithout accessing to the target DNN model; (2) the high transferability of U3D makes such universal black-box attack easyto-launch, which can be further enhanced by integrating queriesover the target model when necessary; (3) U3D ensures humanimperceptibility; (4) U3D can bypass the existing state-of-the-artdefense schemes; (5) U3D can be efficiently generated with a fewpre-learned parameters, and then immediately injected to attackreal-time DNN-based video recognition systems. We have conducted extensive experiments to evaluate U3D on multiple DNNmodels and three large-scale video datasets. The experimentalresults demonstrate its superiority and practicality.

深度神经网络（DNN）在视频识别系统中容易受到对抗性扰动的影响。

研究提出了首个黑盒攻击框架，能够生成三维（U3D）扰动，以攻击视频识别系统。

U3D攻击具有以下优点：无需访问目标模型即可攻击多个DNN模型；高传输性；人类难以察觉；能绕过先进防御方案；可高效生成并实时攻击。

实验表明U3D在多个DNN模型和大规模视频数据集上具有优越性和实用性。

U3D攻击

U3D攻击是一种针对视频识别系统中深度神经网络（DNN）的对抗性攻击。这种攻击的特点是能够生成通用的三维（3D）扰动，这些扰动被设计为可以应用于视频数据流中的任意帧，并且能够在不引起人类注意的情况下误导DNN模型做出错误的判断或分类。

Introduction

DNN模型在视频识别系统中的广泛应用，如面部识别、动作识别和异常检测。

DNN对对抗性攻击的脆弱性，这些攻击通过添加难以察觉的扰动来影响学习结果。

对视频识别系统中DNN的对抗性攻击可能造成严重的物理和财务损害。

目前对视频DNN模型的攻击研究有限，且存在主要限制，如逐帧图像扰动可能导致过度扰动和缺乏时间一致性。

提出了一种黑盒攻击框架，生成通用的三维（U3D）扰动，以颠覆多种视频识别系统，具有高传输性、人类不可感知性和低计算开销等优点。

U3D攻击通过优化层级特征来生成更具传输能力的对抗性示例，并整合了边界效应缓解和普遍性。

实验验证了U3D攻击的有效性，包括成功率、传输性、普遍性、人类不可感知性、对抗防御的性能、物理实现和效率。

U3D攻击有助于开发更健壮和可靠的视频识别DNN模型。

BackGround

DNN-based Video Recognition Systems

这一部分是对DNN的一个概括

DNN在多种现实世界应用中被广泛用于精确视频识别，如异常检测、自动驾驶车辆和智能安全摄像头。

有一系列研究工作致力于通过设计视频DNN来提高模型的准确性。

Donahue等人提出了LRCN，结合卷积层和长期时间递归来进行视频识别和描述。

双流网络（TSN）通过融合静态帧和光流来进行动作识别。

Tran等人提出的C3D模型通过3D卷积神经网络专注于时空特征学习，显著提高了分类准确性。

新的基于时空卷积的网络，如I3D，已经展示了高性能，推动了视频识别系统的发展。

附录E中提供了两个应用示例。

Threat Model

U3D攻击适用于离线和在线场景，包括静态视频和实时视频流的扰动。

攻击者可以在不访问目标DNN模型的情况下，利用U3D扰动攻击视频识别系统。

U3D攻击可以实时生成并注入到视频流中，适用于长期攻击视频监控系统。

攻击者可以通过恶意软件或中间人攻击来操纵视频数据。

U3D攻击不需要知道目标DNN模型的具体结构和参数，而是利用高传输性的通用扰动。

攻击者可以使用任何公共DNN模型和标记视频作为替代品来生成U3D扰动。

U3D攻击可以是纯粹的黑盒攻击，也可以在需要时整合目标模型的查询，形成混合黑盒攻击。

U3D Attack Methodology

U3D Attack Design Goals

提出了三个主要的设计目标，包括高攻击性能、人类不可感知性和对抗现有防御机制的鲁棒性。

高攻击性能：U3D攻击旨在不访问目标DNN模型的情况下，实现对视频识别系统的高攻击性能。这要求攻击具有跨模型的传输性、对大量视频的普遍性，以及不受边界效应影响。

人类不可感知性：通过限制像素偏差，U3D攻击生成的扰动应该足够小，以至于人类观察者无法察觉，确保了攻击的隐蔽性。

对抗现有防御机制：U3D攻击需要能够抵抗包括对抗性训练、检测和认证鲁棒性在内的现有防御机制。

U3D攻击通过构建一个优化问题，利用替代DNN模型在特征空间中最大化清洁视频和被扰动视频之间的距离，以提高攻击成功率。

U3D攻击设计为能够实时生成扰动，并且通过时间转换函数解决了视频帧之间的边界效应问题。

U3D攻击框架假设攻击者不需要知道目标DNN模型的具体信息，而是可以使用任何公共DNN模型作为替代品，并且可以在必要时整合对目标模型的查询，形成混合黑盒攻击。

通过实验验证U3D攻击的有效性，包括其在不同DNN模型上的传输性、对视频的普遍性、对人类观察的不可感知性，以及对抗不同防御机制的能力。

U3D Attack Overview

这一部分是对U3D攻击的概述，分为以下几个核心步骤：

1. U3D扰动生成，通过结合程序化噪声和U3D参数来形成扰动。
2. 攻击目标优化，U3D攻击的目标是优化传输性、普遍性和无边界效应。这些目标确保了U3D扰动能够在不同的DNN模型和视频数据上有效，并且不受视频帧边界的影响。
3. 粒子群优化，为了找到生成U3D扰动的近似最优参数，使用该方法来解决问题。
4. 实时扰动注入，确定参数后实施U3D扰动，将其注入到视频攻击场景中。

U3D Attack Formulation

这段内容描述了U3D攻击的核心原理，包括如何构建对抗性视频示例、如何确保扰动对人类不可感知、以及如何通过优化问题来生成U3D扰动。通过这种方式，U3D攻击能够在不引起人类注意的情况下，有效地误导DNN模型的判断。

Attack Design

U3D Perturbation Formalization

U3D攻击利用程序化噪声来生成对人类不可感知的、能够欺骗DNN模型的视频扰动。

介绍了两种程序化的噪声：Perlin噪声和Gabor噪声，分别用于构建U3Dp和U3Dg两种类型的扰动。

U3D噪声函数通过3D坐标和参数集定义，可以生成具有不同视觉和频谱特性的噪声。

通过调整参数如波长、宽度、频率的幅度和方向角，可以控制噪声的特性，以优化U3D扰动并实现攻击目标。

U3D扰动的生成考虑了视频的长度和循环性，以及如何通过参数校准来满足特定的攻击设计要求。

Calibrating U3D Perturbation

U3D攻击通过在DNN模型的中间层引入扰动来增加原始视频和扰动视频特征之间的距离，从而提高攻击的传输性。

通过引入时间变换函数，U3D攻击能够解决由于对抗性扰动和输入视频之间的不对齐导致的边界效应问题，增强了攻击的鲁棒性。

U3D攻击旨在使用一个小的公共视频集合来学习通用扰动，这样的扰动能够有效地对未见过的其他视频进行误分类，从而提高攻击的普遍性。

U3D攻击通过最大化原始视频和扰动视频在所有中间特征空间上的距离来构建目标函数，同时考虑到了时间变换对扰动的影响。

U3D攻击算法考虑了所有可能的时间变换，通过采样和优化过程来学习一个没有边界效应的通用对抗性扰动，使其能够随时被注入到视频流中。

U3D攻击的设计目标是通过调整扰动的参数来实现传输性、普遍性和无边界效应，同时保持人类不可感知的扰动水平。

Optimizing and Generating U3D Pertubation

U3D扰动的生成可以通过预先计算参数集S来高效实现，通过优化方程(12)来寻找最优的参数集S。

使用粒子群优化（PSO）方法来搜索最优参数集，其中参数值被视为粒子位置，参数范围构成搜索空间。

目标函数转化为适应度函数，用于评估粒子位置的质量，并在迭代中更新粒子位置。

在适应度函数评估前，需验证生成的U3D扰动是否满足‘1-范数界限。

通过PSO算法找到近似最优参数集后，可以生成U3D扰动，用于攻击DNN模型。

PSO方法在U3D优化问题上的表现优于其他几种优化算法，如遗传算法、模拟退火和禁忌搜索。

Experiments

Experimental Setup

实验使用了三个广泛认可的视频数据集，分别是HMDB51、UCF101和UCF Crime，涵盖了不同的动作和异常行为视频。前两个数据集用于视频分类，第三个数据集用于异常检测。

针对视频分类和异常检测任务，选择了C3D和I3D两种流行的DNN模型进行U3D攻击的评估。

为了测试U3D攻击的传输性，还包括了LRCN、DN和TSN三种模型，共在五种不同的DNN模型上进行了评估。

C3D (Convolutional 3D) 

C3D模型是一种3D卷积神经网络，它通过在时间维度上应用卷积来学习视频数据的时空特征。

I3D (Inflated 3D) 

I3D模型是在C3D的基础上进行扩展，通过在空间和时间上都进行膨胀（inflation）操作来增加感受野，从而更好地捕捉视频中的动态特征。

lRCN (Long-term Recurrent Convolutional Networks) 

lRCN是一种结合了卷积神经网络（CNN）和循环神经网络（RNN）的视频识别模型。

它特别适用于处理长视频序列，因为它使用循环结构来捕捉长期的时间依赖性。

lRCN通过卷积层提取视频帧的视觉特征，然后使用循环结构（如LSTM或GRU）来处理时间序列数据。

DN (Dynamic Network) 

DN是一种动态网络架构，它可以根据输入数据的特征动态调整其结构。

这种类型的网络通常用于提高模型对输入数据变化的适应性，从而可能提高其在视频识别等任务上的性能。

TSN (Two-Stream Networks) 

TSN是一种双流网络，它同时处理视频的静态图像帧和光流（optical flow）信息。

静态流通常使用传统的CNN来提取每帧图像的特征，而光流流则捕捉视频帧之间的运动信息。

这两种信息在决策层之前被融合，以提供更全面的视频内容理解。

与U3D攻击进行比较的基准包括传统的噪声扰动方法和当前最先进的视频攻击方法，如C-DUP、V-BAD和H-Opt。

C-DUP (Consistency-based Universal Perturbation) 

C-DUP是一种通用的对抗性攻击方法，它通过生成一个能够在多个视频样本上一致地导致误分类的扰动。这种扰动是通过对模型预测的一致性进行优化来生成的，而不需要对每个单独的视频样本进行调整。

C-DUP的关键在于找到一种扰动，该扰动能够在不同的视频内容上保持其对抗性效果，使其成为一种通用的攻击手段。

V-BAD (Video Backdoor Attack) 

V-BAD是一种视频对抗性攻击，它专注于在视频流中注入一个“后门”。通过在训练阶段引入特定的扰动，攻击者可以在模型中植入一个隐藏的触发器，使得在视频包含某些特定模式时，模型输出攻击者预定的标签。

与通用扰动不同，V-BAD通常需要对模型的训练过程有所了解或控制，以便将后门嵌入到模型中。

H-Opt (Hybrid Optimization) 

H-Opt是一种混合优化的对抗性攻击方法，它结合了基于模型内部信息的白盒攻击和不需要模型内部信息的黑盒攻击的特点。

H-Opt通过在黑盒环境中生成扰动，然后利用白盒信息对扰动进行优化，以提高攻击的成功率和效率。这种方法试图结合两种攻击方式的优点，以提高攻击的通用性和实用性。

实验旨在展示U3D攻击在不同模型上的性能，特别是其传输性和对未见过的视频的普遍性。

Attack Performance

使用替代C3D模型生成的U3Dp和U3Dg扰动在未知目标模型上进行了评估，显示出高攻击成功率。

C3D

C3D是“Convolutional 3D”的缩写，是一种用于视频识别任务的深度学习模型。C3D模型由Tran等人在2014年提出。C3D模型的核心思想是将3D卷积直接应用于视频数据，以学习视频中的时空特征。

U3D扰动在视频分类和异常检测任务上均表现良好，特别是在异常检测任务上，U3Dp和U3Dg的成功率都超过了90%。

与高斯噪声、均匀噪声和随机U3D等基线方法相比，U3D扰动在攻击性能上有显著提升。

C-DUP作为一种白盒攻击方法，在C3D和I3D模型上的攻击成功率较低，表明其传输性不如U3D。

异常检测任务比视频分类任务更容易受到U3D扰动的影响，可能是因为异常检测模型对扰动更敏感。

Transferability and University

传输性是指为一个分类器设计的扰动能够攻击其他分类器的能力，通过传输率（TR）来衡量。

实验通过在多个预训练的DNN模型上应用U3D扰动，并计算这些模型的传输率来评估U3D的传输性。

U3D扰动在不同的视频分类模型上展现了高传输性，即用一个模型生成的扰动能够在其他模型上取得类似的攻击效果。

普遍性是指从一组数据中学习到的扰动能够跨不同数据集攻击DNN模型的能力。

U3D扰动在不同数据集上也展现了良好的普遍性，即使是在未见过的视频中也能保持高成功率。

实验结果表明，U3D能够在不同的数据集和模型上实现有效的攻击，证明了其作为一种通用扰动方法的潜力。

与C-DUP、V-BAD和H-Opt等其他攻击方法相比，U3D显示出更高的传输性和普遍性。

Hybrid Black-Box Attack with Queries over Target Model

U3D设计用于普遍攻击不同的目标模型，并通过集成对目标模型的查询来提高攻击性能。

通过结合传输性和查询，U3D可以扩展为混合黑盒攻击，即使在目标模型上进行查询，也保持了对不同模型的普遍性。

通过优化问题，U3D能够搜索出能够欺骗目标模型的扰动，无论是通过传输性还是通过目标模型上的查询。

实验结果表明，随着对目标模型查询数量的增加，U3D扰动的成功率也会提高，显示出混合攻击策略的有效性。

通过粒子群优化（PSO）算法可以找到最优的U3D参数，以实现对目标模型的更有效攻击。

Visual Impact and Human-Imperceptibility

通过视觉对比，U3Dp和U3Dg扰动的视频在视觉上与原始视频的差异非常小，比C-DUP更难被人类察觉。

C-DUP是一种对抗性攻击方法，全称为“Consistency-based Universal Perturbation”，即基于一致性的通用扰动。C-DUP方法主要针对深度神经网络（DNN）模型，特别是视频识别系统，旨在生成一种能够在多个视频样本上一致地导致误分类的扰动。

进行了人类不可感知性研究，以验证人类是否能够区分原始视频和被U3D扰动的视频。研究通过在线调查的形式，让学生们对视频对进行比较和注释。

在调查中，大部分学生未能识别出被U3D扰动的视频与原始视频之间的视觉差异，这表明U3D扰动具有很高的人类不可感知性。

与C-DUP相比，U3D扰动在保持视频内容不被人类察觉变化的同时，能够有效欺骗视频分类器，显示出更好的性能。

该研究结果强调了U3D扰动在实际对抗性攻击中的潜在应用价值，即它们可以在不引起人类注意的情况下有效地对视频识别系统进行攻击。

U3D against Defense Schemes

U3D攻击方法被设计用来对抗不同的目标模型，并且展示了高传输性。

为了进一步提高对新目标模型的攻击性能，U3D可以扩展为混合黑盒攻击，通过集成对目标模型的查询。

通过对抗性训练、对抗性示例检测和认证鲁棒性等防御机制对U3D攻击进行了评估。

实验结果表明，尽管对抗性训练可以提高模型对U3D攻击的鲁棒性，但U3D攻击仍然能够在这些防御机制下实现较高的成功率。

检测方案对U3D攻击的检测效果不佳，表明U3D扰动能够保持时间空间的一致性，从而规避检测。

认证鲁棒性方案，如PixelDP和随机平滑，在理论上提供了对扰动的防御保证，但对U3D攻击的效果有限，因为它们主要针对较小的扰动半径提供认证。

Practicality for the U3D Attack

U3D攻击可以通过多种方式在实时系统中实现，包括通过恶意软件或中间人（MITM）攻击。

实验设置了一个模拟的监控摄像头和服务器网络，使用Ettercap进行ARP欺骗，以模拟MITM攻击。

U3D攻击通过未加密的RTSP流注入扰动，利用了大量未加密摄像头的安全漏洞。

实验结果表明，U3D攻击对流视频的实时攻击具有很高的成功率，并且对视频流的延迟影响可以忽略不计。

U3D攻击能够有效地降低视频异常检测系统的准确性，证明了其在实时攻击场景中的实用性。

MITM

MITM是“Man-in-the-Middle”的缩写，中文意思是“中间人”。这是一种网络安全攻击的类型，其中攻击者在通信双方之间拦截和/或修改双方的通信数据，而不被通信双方所察觉。

Ettercap

Ettercap是一个开源的网络抓包和分析工具，它被广泛用于网络监控、安全审计、网络诊断和教学。Ettercap可以捕获和查看网络流量，并且具有强大的功能，如ARP欺骗、会话劫持、避免检测等,它可以用来执行中间人攻击（MITM）。

ARP

ARP是一种网络协议，用于将网络层的IP地址解析为链路层的MAC地址。ARP在局域网中工作，确保数据包能够正确地在网络设备之间传输。ARP欺骗是一种常见的网络攻击手段，攻击者通过伪造ARP响应来截取或篡改网络上的数据流。

RTSP

RTSP是一种网络控制协议，用于控制流媒体服务器上的音视频数据的实时数据传输。RTSP提供了一种类似于远程控制的机制，允许客户端控制媒体流，如播放、暂停和停止。RTSP常用于视频监控系统和其他需要实时视频传输的应用。

Mitigation of U3D Perturbation

对抗性训练（AT）是提高模型鲁棒性的有效方法，尽管可能会增加开销。

通用AT和U3D-AT在减少U3D攻击的成功率方面已显示出效果，但可能会牺牲对清洁视频的准确性。

为了提高对U3D攻击的防御能力，可以通过在更大的扰动空间中搜索和整合自适应推理方法来增强AT。

利用程序化噪声的特性，可以通过比较背景帧和视频帧来检测潜在的扰动。

认证鲁棒性提供了对规范界限扰动的理论保证，但存在高维数据下保证减弱的问题。

可以通过随机平滑与UAT的整合来提高模型对未知扰动的鲁棒性，但这可能会增加训练成本。

为了减轻在线U3D攻击的影响，可以通过升级到加密通信或向视频流添加水印等方法来增强视频识别系统的安全性。

UAT

UAT是一种提高深度学习模型对对抗性攻击鲁棒性的方法。在UAT中，模型在包含通用扰动的样本上进行训练，以学习如何对这些扰动保持鲁棒。这种方法旨在提高模型对未知扰动的泛化能力，从而增强其在面对对抗性攻击时的鲁棒性。

Related Work

机器学习中的安全性，特别是对抗性输入对AI系统的脆弱性，已经得到了广泛的研究。

对抗性示例的引入导致了大量针对图像分类器的攻击方法的发展，如FGSM、PGD和UAP等。

黑盒攻击方法主要包括基于传输的攻击和基于查询的攻击，混合攻击结合了这两种方法。

除了图像，对抗性攻击也扩展到了语音识别、恶意软件分类和文本理解等领域。

近期研究将对抗性攻击从2D图像扩展到了3D视频，提出了如C-DUP等新的攻击方法。

为了防御对抗性攻击，已经提出了多种防御方案，旨在提高模型的鲁棒性或检测对抗性示例。

现有的防御方案主要集中在图像上，对视频的实证研究较少，U3D攻击的评估可能促进更健壮的视频识别防御方案的发展。

Conclusion

本文成功构建了两种新型U3D扰动，能够在黑盒环境中普遍攻击多个基于DNN的视频识别系统。

U3Dp和U3Dg两种扰动可以高效地实时生成，确保了攻击的传输性、普遍性和对人类的不可感知性。

U3D扰动也适用于实时视频流的攻击，能够在实际应用中发挥作用。

通过在三个大规模视频数据集上的广泛实验，U3D扰动的性能得到了验证，与现有最先进攻击相比，U3D在攻击成功率、传输性和人类不可感知性方面表现更优。

实验还评估了U3D攻击对三种不同防御方案的抵抗能力，结果表明U3D相比其他攻击（如C-DUP、V-BAD和H-Opt）更难防御。