部分笔记基于知乎博主:咫尺小厘米 - 知乎
1. 黑盒攻击方向
1.1 Natural Color Fool: Towards Boosting Black-box Unrestricted Attacks
代码: https://github.com/VL-Group/Natural-Color-Fool
无限制黑盒攻击
颜色分布库 Color Distribution Library
作者借鉴了Photographic tone reproduction的思想,基于 ADE20K数据集构建了针对不同语义类的“颜色分布的分布”(“distribution of color distributions“,DoD)。 具体来说,对于每个类别,DoD 提供了 20 个不同的主要分布集(由颜色分布表示),这些分布集是通过基于数据集中相应分割类别的调色板的层次聚类获得的,然后,由于每个簇中语义类的颜色分布相似,我们在每个簇中选择一个对象来表示该样式,最后,我们提取颜色分布形成我们的颜色分布库
Natural Color Fool (NCF) 黑盒攻击主要流程
生成的对抗样本xh'放到代理模型fθ上进行进行攻击,Ladv选用C&W
1.2 Towards Large yet Imperceptible Adversarial Image Perturbations with Perceptual Color Distance
这篇论文的第2部分“Background on Perceptual Color Distance”主要介绍了感知颜色距离(Perceptual Color Distance)的概念,以及它是如何与传统的RGB颜色空间中的距离度量相比较的。下面是对这部分内容的详细解释:
-
感知颜色距离的重要性:
- 传统的计算机视觉研究主要关注颜色空间本身,而不是颜色之间的距离。感知颜色距离是指人类视觉系统如何感知颜色之间的差异。
- 感知颜色距离的研究对于理解人类如何感知颜色变化至关重要,这在图像处理、图像合成和其他视觉任务中非常有用。
-
CIEDE2000颜色差异公式:
- 论文中使用的感知颜色距离度量是CIEDE2000,这是国际照明委员会(CIE)开发的最新颜色差异标准。
- CIEDE2000通过添加五个修正项来改进前一版CIELAB颜色空间的定义,这些修正项基于大规模的人类视觉研究,能够更好地模拟人类的颜色感知。
- CIEDE2000的颜色差异计算涉及到CIELCH颜色空间中的亮度(L)、色度(C)和色相(H)三个通道的差异,以及这些差异之间的交互项。
-
像素级感知颜色距离的计算:
- 论文中给出了CIEDE2000颜色差异的计算公式,该公式考虑了像素值在CIELCH空间中的亮度、色度和色相的差异。
- 公式中的权重函数(SL, SC, SH, RT)和常数(kL, kC, kH)是根据人类视觉感知的实验研究确定的,用于补偿以更好地模拟人类的颜色感知。
-
与Lp范数的比较:
- 论文指出,虽然也可以使用Lp范数来度量CIELAB空间中的距离,但这种距离与人类感知的颜色距离相比,CIEDE2000更为准确。
- 以往的研究中,CIEDE2000主要用于评估图像对的颜色相似性,而在本论文中,作者直接使用CIEDE2000进行优化,而不仅仅是用于评估。
-
相关工作:
- 论文提到了一些先前的研究,这些研究采用了CIEDE2000来评估图像对的颜色相似性,例如图像质量评估和图像超分辨率研究。
- 与这些研究不同,作者在本论文中使用CIEDE2000直接进行优化,并通过反向传播来生成对抗样本。
- 像素感知颜色距离pixel-wise perceptual color distance
其中,各个