论文阅读：SoK Anti-Facial Recognition Technology

论文阅读：SoK: Anti-Facial Recognition Technology

背景

• 期刊：IEEE S&P
• 时间：2023年5月

Abstract

近年来，政府和商业实体迅速采用面部识别(FR)技术，引发了对公民自由和隐私的担忧。作为回应，一套广泛的所谓“反面部识别”(AFR)工具已经开发出来，以帮助用户避免不必要的面部识别。过去几年提出的AFR工具集范围广泛且发展迅速，有必要退一步考虑AFR系统的更广泛的设计空间和长期挑战。本文旨在填补这一空白，并提供了AFR研究景观的第一个全面分析。以FR系统的运行阶段为起点，我们创建了一个系统框架，用于分析不同AFR方法的优点和权衡。然后，我们考虑了AFR工具面临的技术和社会挑战，并提出了该领域未来研究的方向。

Abstract—The rapid adoption of facial recognition (FR) technology by both government and commercial entities in recent years has raised concerns about civil liberties and privacy. In response, a broad suite of so-called “anti-facial recognition” (AFR) tools has been developed to help users avoid unwanted facial recognition. The set of AFR tools proposed in the last few years is wide-ranging and rapidly evolving, necessitating a step back to consider the broader design space of AFR systems and long-term challenges. This paper aims to fill that gap and provides the first comprehensive analysis of the AFR research landscape. Using the operational stages of FR systems as a starting point, we create a systematic framework for analyzing the benefits and tradeoffs of different AFR approaches. We then consider both technical and social challenges facing AFR tools and propose directions for future research in this field.

Conclusion

随着面部识别(FR)在规模和普遍性上的持续增长，我们预计反面部识别将越来越受欢迎。迫切需要对AFR工具进行纵向思考，分析它们的局限性和潜力。我们的论文旨在通过提供讨论AFR提案的框架和对AFR研究现状的评估来填补这一空白。

我们发现，当前的AFR工具拥有一些(但不是全部)在现实世界中成功击败不需要的FR所需的特征。许多现有的建议利用对抗性扰动来逃避FR模型，无论是在预处理2还是分类5阶段。这种扰动虽然通常在短期内有效，但缺乏长期保证，不能从根本上改变未来FR系统的行为。

未来的AFR提案可能会受益于更多针对阶段1和阶段4的设计探索，这些设计可以提供更广泛的保护。

As facial recognition (FR) continues to grow in scale and ubiquity, we expect anti-facial recognitions to rise in popularity. There is an urgent need to think longitudinally about AFR tools, analyzing both their limits and their potential. Our paper aims to fill this gap by providing both a framework for discussing AFR proposals and an assessment of the current state of AFR research.

We find that current AFR tools possess some, but not all, of the traits needed to successfully defeat unwanted FR in the real world. Many existing proposals leverage adversarial perturbations to evade FR models, either in the preprocessing 2 or classification 5 stages. Such perturbations, while often effective in the short-term, lack long-term guarantees, and cannot fundamentally change FR system behavior in the future.

Future AFR proposals may benefit from more exploration of designs that target stages 1 and 4 , which could provide wider-reaching protection.

阅读总结

(§I)：Introduction

美国面部识别数据库利用了来自大多数州的驾照照片，中国使用面部识别来监控行为并执行社会信用评分系统，俄罗斯购买了10万多个摄像头建立基于面部识别的新冠肺炎隔离执法系统

2020年，《纽约时报》记者克什米尔·希尔(Kashmir Hill)在描述Clearview时展示了面部识别被滥用的可能性。人工智能是一家私营营利性公司，它从“公共资源”中收集了30多亿张图片，建立了一个面部识别系统，在不知情或未经同意的情况下识别了数亿公民。Clearview和像它这样的公司可以让任何愿意付钱的人进行监视和跟踪。

这篇论文用过分析广泛的AFR（反面部识别）系统的通用框架，解决共通性问题。作出如下贡献：

• 面部识别目标的分类:AFR系统在面部识别过程中针对广泛的组件。使用面部识别数据管道的通用版本，我们提供了第一个框架，以广泛地推断该领域的现有和未来工作。
• AFR系统的分类和分析：我们采用AFR系统的当前工作主体，使用我们提出的框架对它们进行分类和分析。
• 基于期望属性映射设计空间:我们确定了未来AFR系统在设计中可能优化的一组核心关键属性，并通过讨论AFR系统如何以及是否可以在我们的设计框架中针对每个阶段实现这些属性来提供设计路线图。
• 开放的挑战：我们用我们的框架来识别当前AFR系统面临的挑战，以及潜在解决方案的方向

(§II)：描述现实世界的面部识别系统

运行时面部识别工作流程

人脸识别系统通过面部特征来识别人，通常是通过将图像或视频中未识别的人脸与已知身份的面部图像数据库进行比较，该系统采用深度神经网络(dnn)对数字人脸图像进行识别。

我们注意到面部识别系统与面部验证系统之间的区别。面部验证广泛用于移动设备上的用户身份验证(例如:

通过检查用户面部特征与存储的与授权用户相匹配的特征向量的相似性。绝大多数AFR系统只关注面部识别，因此，我们没有考虑面部验证或其在这项工作中的中断。

下面，我们首先介绍面部识别的运行时工作流程。然后，我们建议将FR工作流程分解为五个操作阶段，我们将在第四节中重新审视并用于分析AFR系统的框架。

图1总结了FR系统如何从输入图像中识别人脸的运行时工作流。首先，查询图像，即待识别的人脸图像，通过特征提取器，DNN将图像转换为特征向量(或人的面部特征的数学表示)。接下来，这个特征向量被用来查询一个参考数据库，一个已知身份的人脸图像集合。此查询搜索通过将输入特征向量与存储在数据库中的参考特征向量进行比较来找到最接近的匹配。最后，如果查询搜索在数据库中找到与输入足够相似的参考特征向量，则FR系统声明已经找到匹配，并输出相应的身份和相关的参考图像(即图1中的Alice Smith)。

将FR分解为操作阶段

图2描述了人脸识别的五个操作阶段。我们将在下面讨论每个阶段，并将在§IV中将它们作为分析反人脸识别工具的框架重新审视。

图像采集

面部图像主要来自两个来源:在线图像抓取或实际拍摄一个人的照片。

图像预处理

第一阶段的原始图像通常结构不佳(例如，不同的脸大小，背景中的旁观者)。为了使下游任务更容易，FR系统通常通过应用人脸检测(例如，自动人脸裁剪器[37])来预处理图像，去除背景并提取每个单独的人脸，然后进行数据归一化处理。

训练特征提取器

基于深度神经网络的人脸识别系统的关键要素是用于从图像中计算面部特征的特征提取器。为了实现准确的识别，计算的特征向量必须在同一个人的照片上高度相似，而在不同人的照片上足够不同，为了达成各个目的，现有的FR系统都会在模型训练过程中增加一个额外的损失函数，直接优化特征空间中不同人脸之间的大间隔。为了最大限度地提高效率，特征提取器通常在数百万个标记的人脸图像上进行训练。收集和标记大型人脸数据集以及实际训练模型都需要大量的资源。因此，许多FR从业者，包括大公司[42]和政府机构，选择从科技公司购买或许可训练有素的特征提取器。

创建参考数据库

人脸识别系统需要一个已知(或标记)人脸的大型数据库，以便将未知(未标记)人脸与其真实身份相匹配。因此，人脸识别系统首先收集这些个体的标记人脸图像并对其进行预处理，然后将其传递给特征提取器以获得特征向量，从而建立一个他们想要识别的人的参考数据库。参考数据库存储对应的（特征向量——身份）对

查询匹配

在运行时，FR系统接收未识别的人脸图像，提取其特征向量，然后使用它查询参考数据库以定位匹配(如果存在)。如果查询的特征向量与数据库中的实体足够接近，系统输出匹配。

真实世界FR部署和数据收集

近年来，全球各地的大公司和政府机构都在各种应用中采用了FR。

这种广泛采用是由FR系统的显著精度提高引发的，这主要是由于新的训练方法和更强大的神经网络架构。下面，我们将介绍一些常见的FR用例，并讨论它们对用户的影响。

（这一部分不重要，省略了）

(§III)：AFR系统的动机和威胁模型

AFR工具的兴起原因

许多力量联合起来推动了AFR工具开发的最新趋势。首先，关于商业FR系统中使用的图像来源的大量报道引起了重大的隐私问题。最臭名昭著的例子是Clearview.ai和PimEyes——这两家公司都在未经用户知情或同意的情况下，从社交媒体网站上抓取了超过30亿张图片用于其FR系统。

公众舆论的这种转变，加上上述关注和力量，促使研究人员创造各种AFR工具来抵消不必要的FR系统。

AFR威胁模型

AFR工具由个人P用来对抗FR系统或服务f。在这种情况下，P扮演攻击者的角色并对f采取行动。AFR工具的开发通常对每一方做出以下假设:

• P对目标FR系统F没有特殊的访问权限或权限，但希望通过修改或以其他方式控制自己的面部图像来逃避不必要的面部识别。
• F的目标是创建或维持准确的面部识别操作。此外，F在规模上运作，不专门针对P进行识别。

(§IV)：AFR工具可能针对的面部识别系统的五个总体阶段

如图3所示，这些关键点中的每一个都对应于FR系统的一个关键操作阶段，即§II中描述的阶段1 - 5。考虑到这一点，我们现在总结了AFR工具用于破坏每个FR阶段运行的“攻击”策略，并对当前的AFR提案进行了分类。

针对图像采集

在图像采集阶段，收集有标记和/或未标记的图像供F使用，或者通过拍照或从网上抓取图片。针对这一阶段，AFR工具侧重于破坏数据收集过程，以防止F获取P的可用面部图像。

针对图像预处理

这一阶段使用一系列数字变换对收集到的人脸图像进行预处理，例如，人脸检测、背景裁剪和归一化。在此阶段部署的AFR工具试图通过破坏预处理功能(例如，阻止人脸被检测到)，向图像中注入噪声和伪影，或从图像中删除P的身份信息，使处理后的图像无法使用。

针对训练特征提取器

由于这一阶段专门用于训练人脸特征提取器，针对这一阶段的AFR工具试图通过毒害其训练图像来降低提取器的准确性。

针对创建参考数据库

为了创建参考数据库，将标记的参考图像通过特征提取器来创建它们的特征向量。针对这一阶段的AFR工具试图破坏为P的参考图像创建的特征向量，以便数据库保存“错误”的P特征向量。

针对查询匹配

在查询匹配阶段，AFR工具试图阻止查询图像的特征向量(P的)与存储在F参考数据库中的P的特征向量之间的准确匹配。这通常是通过干扰(或修改)查询图像来改变其特征向量来实现的。

小结

使用我们基于阶段的分析框架，我们现在在表5中给出了现有AFR提案的综合分类。在这个列表中，我们根据发布年份、它们所针对的单个FR阶段和攻击场景对现有AFR提案进行了分类。我们根据P对F的了解(白盒或黑盒)、AFR部署上下文(物理或数字)、攻击是有目标的还是无目标的、AFR工具是否针对真实的FR系统进行了测试，以及AFR工具的任何独特或显著特征进一步分解了攻击场景。

（" BB/WB " =黑盒，白盒。"UT/T " = untargeted, targeted。“AR/AZ/F++/TN”=亚马逊识别，微软azure人脸识别，旷视的face++，腾讯人脸识别。）

我们可以发现，针对第二阶段图像预处理和第五阶段查询匹配的AFR工具最多

(§V)：数据收集

• F的目标是从网上或物理来源获得可用的人脸图像。在许多情况下，F的目标是收集数百万或数十亿人的高质量图像(例如，Clearview).ai)。
• P的目标是防止他们的面部图像被收集用于面部识别系统。他们使用在线或物理规避/中断技术来阻止图像收集。

面部图像有两种来源:从网上抓取图像或用相机实际捕捉面部。因此，我们将在此阶段起作用的现有AFR工具分为两个子类别:防止在线图像抓取和防止相机捕获图像。

防止在线图像抓取

1. 网络平台的反抓取：速率限制、数据限制、基于ML的抓取检测等技术已经被在线平台使用
2. 用户的数据杠杆：P可以通过扣留来阻止F收集他们的在线图片。最近的研究提出了“数据杠杆”的概念，即在线平台的用户共同努力隐瞒数据或控制科技公司如何使用他们的数据。

避免捕获图像

1. 面部隐藏：穿衣服、戴帽子、戴口罩或直接躲着摄像头
2. 相机中断：无需物理损坏相机，人类用户可以通过简单地用激光照射相机来阻止相机捕捉(可用的)图像。其他常见的方法包括用织物或贴纸覆盖相机。

(§VI)：数据处理

• F的目标是从大量的原始图像中获得结构良好的人脸图像。
• P的目标是防止他们的脸被检测/从原始图像中提取，或者在这些图像中匿名化他们的脸。

防止人脸检测

常用的人脸检测系统依靠深度神经网络来准确地推断人脸在图像中的位置。为了破坏人脸检测，现有的AFR工具利用**“对抗性扰动”**的概念来对抗深度神经网络模型。这些精心制作的，基于像素的扰动，当添加到图像中时，可能会导致dnn产生错误的分类。

基于如何将扰动添加到图像中，使用对抗性扰动的AFR工具可以进一步分为两种类型。如果P可以直接访问这些图像，它们可以直接添加到数字图像中，或者制作成P可以携带的物理对象(例如，对抗t恤)或放在相机上。

1. 直接修改数字图像：使用AFR工具，在线发布图像的用户可以在发布图像之前直接对这些图像添加对抗性扰动。通过这种方式，用户可以确保经过适当扰动的图像不会被FR系统用来提取任何人脸信息。
2. 佩戴定制设计的实物：将对抗性扰动“注入”图像的另一种方法是携带或佩戴物理对象，以便任何拍摄用户照片的相机也会捕捉到对抗性扰动的版本。沿着这些路线，先前的工作已经成功地将逃避面部检测的对抗性扰动转化为化妆品，t恤或贴纸。
3. 在相机上贴贴纸：一种正交方法包括将对抗性扰动转化为可以放置在相机镜头上的半透明贴纸。这种贴纸不知不觉地修改了相机拍摄的图像，以防止在这些图像中发现人和面孔。

面部匿名化

这一节主要讲在线人脸图像的数字匿名化技术。

为了匿名化人脸图像，主要的建议使用生成对抗网络(gan)和差分隐私。一些建议首先使用gan将人脸图像转换为潜在空间向量，修改这些向量以去除身份信息，然后从修改后的向量重建图像。修改后的脸看起来仍然像人，但为了防止被准确识别，这些脸是匿名的。另一个提案IdentityDP使用了类似的技术，但更进一步，提供了可证明的不同的私有身份保护。

匿名化的一个副作用是，匿名化的脸通常不像原来的脸，但在形状、肤色、发色或其他属性上有重大变化。

(§VII)：特征提取器训练

• F的目标是使用可用数据训练一个高质量的特征提取器。
• P的目标是防止他们的照片被用来训练一个有效的特征提取器。

特征提取器的中毒训练数据

1. 使训练数据不可学习：通过在训练数据上注入特制的噪声，这种噪声会误导模型，使其认为数据已经被学习了，从而阻碍了必要的参数更新。当用户提交“不可学习”的人脸图像作为FR特征提取器的训练图像时，提取器不会学习任何东西来提高其性能。
2. 添加对抗性捷径：将对抗性快捷方式注入数据集。在此数据上训练的模型过度拟合到捷径上，无法学习到数据的有意义的语义特征。目前所训练的提取器模型对特征空间的理解存在偏差，无法产生准确人脸识别所需的高质量特征向量。

(§VIII)：身份创建

在这一阶段，F使用训练有素的提取器创建标记的人脸特征向量的参考数据库，以方便识别未识别的人脸。针对这一阶段的AFR工具试图用不正确的人脸/标签映射填充参考数据库，因此无法从其查询图像中准确识别P。

• F的目标是创建一个数据库，以便进行面部识别搜索。这个数据库应该包含F希望识别的人的特征向量。
• P的目标是破坏特征向量的创建过程。

中毒参考特征向量

这类现有的AFR建议侧重于在将特征向量存储到参考数据库之前毒害它们。具体的中毒技术取决于F如何将运行时查询图像与存储在数据库中的特征向量进行比较的基本假设。

1. 假设基于分类的查询匹配：这一类的AFR，假设F通过在特征提取器上添加一个浅分类层来产生运行时面部识别结果。

   这类AFR试图通过“掩盖”(或毒害)P的参考图像来破坏最终的分类输出，即通过向P的参考图像添加难以察觉的扰动，将其特征向量从正确的表示中移开。在这些移位的特征向量上训练的F的浅分类模型将学习将不正确的特征空间与P的身份相关联，从而在运行时为P(未隐藏的)查询图像产生错误的匹配。FishyFace的早期工作也提出通过毒害用于训练单类SVM模型的训练数据来破坏人脸验证。由于FishyFace的目标是每个用户的面部验证，而不是大规模的FR系统，因此我们在表V和我们的分析中排除了它。

2. 假设基于最近邻的匹配：LowKey添加了数字对抗性扰动来改变P的参考图像的特征表示(类似于Fawkes)。这些扰动图像为P创建了一个与P运行时查询图像不同的参考特征向量，从而阻止了匹配。FoggySight采用社区驱动的方法，用户可以修改他们的图像来保护他人。这些集体修改使特定用户的top-K匹配集充斥着不正确的特征向量，淹没了正确的特征向量，阻碍了查询图像匹配。

(§IX)：查询匹配

最后一组AFR工具旨在防止运行时查询图像识别。这些方法可以为认为自己的图像已经在参考数据库中注册的用户提供一次性保护。

• 这里的假设是F的参考数据库包含P的准确特征向量。

通过对抗性扰动逃避识别

对抗性扰动一直是逃避DNN分类的主要方法，因此与逃避FR相关。由于这些技术的数量非常多，我们将讨论限制在明确设计用于在运行时逃避FR系统的建议。我们根据它们的操作环境来组织这些提案:物理的和数字的。

1. 物理逃避技术：通过让P将面部图像作为物理对象佩戴，将对抗性扰动注入到面部图像中。使用对抗性化妆和眼镜导致FR模型的错误分类。最近的建议考虑了另外两个方向，要么使用更大但与输入无关的对抗补丁来提高逃避的有效性，要么通过将可见光/红外光投射到用户脸上，使扰动以数字方式可控和/或更不易被人眼感知。
2. 数字逃避技术：P对他们未标记的(在线)面部图像进行数字修改，以防止它们被FR系统准确识别。这一类别中的大多数建议应用传统的对抗性扰动生成技术来创建最小可见的扰动，从而导致F的特征提取器产生误导性的特征向量。它们的生成过程取决于特征匹配过程的假设:基于特征向量的浅分类或基于最近邻的向量匹配。

(§X)：确定未来AFR系统的关键理想属性，并将它们映射到设计空间中的点

我们希望提供一个高层次的路线图，可以指导AFR工具的设计，优化特定的属性。

AFR设计需要考虑的五个特性

1. 对不断发展的FR系统的长期鲁棒性
2. 广泛的保护范围，即使对在线未保护面部图像的用户也有效
3. 不依赖第三方，强大的保护是否需要服务提供商或其他用户的帮助
4. 用户P的代价最小，用户在一致的基础上部署AFR工具的成本最小。
5. 对其他用户的影响最小，对非AFR工具用户的潜在风险最小

AFR设计现阶段的情况

对于每个属性和目标阶段的组合，我们“量化”了通过AFR工具来破坏该阶段获得理想属性的容易程度。

表六概述了我们的结论。为了便于表示，我们将使用AFR k来指代针对FR k阶段的AFR提案组。

（黑点表示已经实现，灰点代表未来可期，问号代表差得远）

AFR面临的挑战

技术问题

缺乏可证明的保护：

• 将可证明的保证集成到扰动生成过程中

• 考虑提供有保证保护的替代方案。

  • 专注于攻击阶段1，在此阶段击败FR不需要逃避或毒害特征提取器。
  • 用“微小的”图像修改“误导”特征提取器，完全禁用特征提取和/或匹配过程。

网络足迹的存在：所有这些方法都应该伴随着增强的反爬技术，以防止大规模爬取人脸图像，即更严格的速率限制，访问权限和爬取检测启发式，以使个人更安全地拥有在线足迹。

面部图像不会改变：一旦F获得了P的受保护的人脸照片，他们可以想尝试多少次就可以尝试打破保护。如果F成功了，不管是1个月还是1年，他们“赢了”而P输了，因为现代FR系统只需要参考数据库中的一张干净的照片来识别一个人。显然，人脸数据持久性问题对AFR工具的开发提出了重大挑战。

FR系统缺乏透明度：缺乏专有FR系统在实践中如何工作的透明度。这阻碍了AFR工具的开发和测试。由于无法访问专有的FR系统，AFR研究人员必须尽最大努力从公共文件和学术论文中收集FR系统如何工作的一般理解。

在线足迹。
面部图像不会改变：一旦F获得了P的受保护的人脸照片，他们可以想尝试多少次就可以尝试打破保护。如果F成功了，不管是1个月还是1年，他们“赢了”而P输了，因为现代FR系统只需要参考数据库中的一张干净的照片来识别一个人。显然，人脸数据持久性问题对AFR工具的开发提出了重大挑战。

FR系统缺乏透明度：缺乏专有FR系统在实践中如何工作的透明度。这阻碍了AFR工具的开发和测试。由于无法访问专有的FR系统，AFR研究人员必须尽最大努力从公共文件和学术论文中收集FR系统如何工作的一般理解。

社会问题

略