kking_edc的博客

3 方法让XXX表示一张图片，ytruey^{true}ytrue表示对应的真值标签，我们用θ\thetaθ表示网络参数，L(X,ytrue;θ)L(X,y^{true};\theta)L(X,ytrue;θ)表示loss。为了生成对抗样本，我们的目标是最大化损失L(X+r,ytrue;θ)L(X+r,y^{true};\theta)L(X+r,ytrue;θ)，并且rrr要在范数约束下尽可能小并且预测标签yadv≠ytruey^{adv}\ne y^{true}yadv​=ytrue。在本文中，我们使

3 Adversarial training with domain adaptationIn this work, instead of focusing on a better sampling strategy to obtain representative adversarial data from the adversarial domain, we are especially concerned with the problem of how to train with clean dat

摘要在许多图像识别任务中，对几何变换的不变性是自动分类器非常理想的特性。然而，目前尚不清楚最先进的分类器在多大程度上对旋转和平移等基本变换保持不变。这主要是由于缺乏适当测量这种不变性的通用方法。在本文中，我们提出了一种系统方法来量化任何分类器的几何变换不变性。我们的关键思想是将评估分类器不变性的问题转化为the computation of geodesics along the manifold of transformed images。我们提出了基于efficient Fast Marching算法

摘要大多数现有的机器学习分类器对于对抗样本而言都十分脆弱。2 生成对抗样本的方法这一节描述了我们在实验部分使用的生成对抗样本的方法。需要注意的是，上述方法都不能保证生成的图像会被错误分类。然而，我们称所有生成的图像为“对抗图片”。在这篇文章的后面，我们使用如下的符号表示：XXX：表示一个图片，通常是一个三维张量（width、height、depth）。在这篇文章中，我们假定像素的值均为整型数字，范围为[0,255]。J(X,y)J(X,y)J(X,y)：表示给定输入图片XXX以及类别yyy后神

摘要深层神经网络容易受到对抗样本的攻击，由于潜在的严重后果，这对这些算法造成了安全问题。对抗性攻击是在部署深度学习模型之前评估其鲁棒性的重要替代手段。然而，大多数现有的对抗性攻击只能愚弄成功率较低的黑盒模型。为了解决这个问题，我们提出了一大类基于动量的迭代算法来增强对抗性攻击。通过将动量项集成到攻击的迭代过程中，我们的方法可以稳定更新方向，并在迭代过程中避开较差的局部极大值，从而产生更多可转移的对抗性示例。为了进一步提高黑盒攻击的成功率，我们将动量迭代算法应用到一组模型中，并表明具有强大防御能力的对抗训练

摘要在本文中，我们使用两个大型数据集，首次对现代语义分割模型上的对抗攻击进行了严格评估。我们分析了不同的网络结构、模型capacity和多尺度处理的影响，并表明在分类任务上进行的许多观察并不总是转移到这个更复杂的任务上。此外，我们还展示了深层结构模型和多尺度处理中的mean-field inference如何自然地实现最近提出的对抗防御。我们的观察结果将有助于未来理解和防御对抗样本。此外，在短期内，我们展示了由于其固有的鲁棒性，目前在安全关键应用中应该优先选择哪些语义分割模型。1 介绍6 多尺度预处理

摘要包括神经网络在内的一些机器学习模型，会错分对抗样本并以高置信度输出错误答案。早期对这种现象的解释集中在非线性和过拟合上。相反，我们认为神经网络易受对抗性干扰的主要原因是其线性特性。这一解释得到了新的定量实验的支持，同时首次解释了关于它们的一个有趣的事实：对抗样本对模型结构以及训练集具有泛化性。此外，这种观点还提供了一种生成对抗样本的的简单而快速的方法。通过这种方法为对抗训练提供样本，我们减少了MNIST数据集上maxout网络的test error。1 介绍Szegedy等人（2014b）提出了一

摘要在黑盒设定下，大多数现有的攻击方式转移性较差。在这篇文章中，从将对抗样本的生成看作一个优化过程的角度出发，我们提出两种新的生成对抗样本的方式，称为Nesterov Iterative Fast Gradient Sign Method (NI-FGSM) 以及 Scale-Invariant attack Method (SIM)。NI-FGSM旨在将Nesterov accelerated gradient加入到迭代攻击中，从而有效提高对抗样本的转移性。SIM基于我们对深度学习模型尺度不变性的发现，

ViT将transformer从NLP领域应用到了视觉领域，但是它仅做了分类工作，Swin transformer的提出彻底将Transformer应用到了视觉领域的各个细分领域中，使得transformer成为了视觉领域的一个骨干网络。摘要这篇论文提出了一种新的视觉Transformer，称为Swin Transformer，它可以作为计算机视觉领域的一个通用骨干网络。将Transformer直接从NLP领域迁移到视觉领域存在两个挑战，一个是尺度问题，另外一个是图像像素过多（如果我们以像素为单位，那么

3 方法In model design we follow the original Transformer (Vaswani et al., 2017) as closely as possible.An advantage of this intentionally simple setup is that scalable NLP Transformer architectures – andtheir efficient implementations – can be used almost

注意力机制是指我们将视觉注意力集中在图像的不同区域，或者将注意力集中在一句话中的某个词语，以下图为例：人类的视觉注意力允许我们以“高分辨率”关注某个特定区域（例如黄色框内的耳朵）同时以“低分辨率”处理周围的环境信息（例如下雪的背景），接下来我们转移关注点或者直接根据关注点作出相应的判断。给定一张图片的一些patch，其余部分的像素提供给我们patch所在区域是什么的信息。我们期望在黄框内看到一个耳朵，这是因为我们已经看到了一只狗鼻子、另外一个耳朵以及狗狗的眼睛（红框内的物体）。然而，毛衣和毯子对于判断狗

Abstract一个去雨网络可以被视为一个移除图片中雨水的conditional generator。大多数现有的去雨方法忽略了由于不确定性带来的模型误差，从而降低了embedding质量。和现有的直接将low-quality特征嵌入到模型中不同，这篇文章将用latent high-quality取代了low-quality特征。同时文章使用了...

AbstractThe dominant sequence transduction models are based on complex recurrent or convolutional neural networks that include an encoder and a decoder. The best performing models also connect the encoder and decoder through an attention mechanism. We pro

Transformer [137]是一个已经广泛应用于各种领域的重要的深度学习模型, 例如自然语言处理(NLP)，计算机视觉(CV)以及语音处理。 Transformer was originally proposed as a sequence-to-sequence model [130] for machine translation. Later works show that Transformer-based pre-trained models (PTMs) [100] can achieve

AbstractDeep Learning (DL) is the most widely used tool in the contemporary field of computer vision. 它能准确解读复杂问题的能力被应用于许多视觉研究中。However, it is now known that DL is vulnerable to adversarial attacks that can manipulate its predictions by introducing visuall

1 IntroductionA common approach to understanding the decisions of image classification systems is to find regions of an image that were particularly influential to the final classification. (Baehrens et al., 2010; Zeiler & Fergus, 2014; Springenberg e

AbstractGradient estimation以及vector space projection现在被作为两个独立的主题进行研究。我们希望bridge the gap between thetwo by investigating how to efficiently estimate gradient based on a projected low-dimensional space. We first provide lowerand upper bounds for gradient

AbstractWe study the problem of attacking a machine learning model in the hard-label black-box setting, where no modelinformation is revealed except that the attacker can make queries to probe the corresponding hard-label decisions. Thisis a very challe

Abstract1 Introductionmembership inference中adversary的目标是判定一个数据样本是否用于训练目标ML模型。现有的隐私攻击依赖于ML模型输出的confidence scores（即class probabilities或者logits）。成功的membership inference是由于ML模型的inherent overfitting性质，即一个ML模型在面对它训练的样本时输出分数会更高。图1展示了这种scored-based threat model

AbstractPhysical adversarial examples for camera-based computer vision have so far been achieved through 可见的人造物 — a sticker on a Stop sign, colorful borders around eyeglasses or a 3D printed object with a colorful texture. An implicit assumption here is t

AbstractIn this paper, we propose qFool, a novel decision-based attack algorithm that can generate adversarial examples using a small number of queries. The qFool method can drastically reduce the number of queries compared to previous decision-based atta

Abstract这篇文章中我们介绍了Boundary Attack, a decision-based attack that starts from a large adversarial perturbation and then seeks to reduce the perturbation while staying adversarial。这种攻击在概念上十分简单，requires close to no hyperparameter tuning，并不依赖于替代模型 and is compe

Abstract尽管对抗攻击在白盒设定下取得了很高的成功率，但是绝大多数现存的adversaries 常常在黑盒设定下exhibit 弱迁移性，尤其是在攻击的模型存在防御机制的情况下。在这篇文章中，我们提出了一种新的称为variance tuning的方式来增强the class of iterative gradient based attack methods 并且提高了它们的攻击可迁移性。特别地，在每一轮梯度计算中，instead of 直接使用当前的梯度来进行momentum accumulati

摘要在这篇文章中，我们展示了特定“robust“模型中的隐变量特征对于对抗攻击来说是非常易受攻击的。基于这一点，我们提出了一个统一的l∞−norml_{\infty}-norml∞​−norm白盒攻击算法LAFEAT，这个算法在梯度下降过程中利用隐变量特征。我们展示了这种算法不仅执行成功计算时计算复杂度更低，并且它也是对一系列防御机制下，相比于目前SOTA的一个强力的adversary。这提示我们模型的robustness...

Abstract这篇文章尝试从探索对抗扰动对攻击任务的贡献度的角度来解释对抗攻击。我们基于Shapley值来估计不同图片区域对攻击cost下降的贡献程度。我们定义并量化了对抗扰动像素之间的interaction，并且将整个扰动图分解为相对独立的扰动组成部分。对扰动图的分解展示了对抗训练后的DNNs相比普通训练的DNN在foreground有更多的扰动组成部分。此外，相比于正常训练的DNN，对抗训练后的DNN有着更多主要降低真实类别分数的组成部分。上述的分析为理解对抗攻击提供了新的insight。1 In

摘要这篇文章旨在定义、量化以及分析DNN学习到的特征复杂度。作者提出了一种对于特征复杂度的通用定义。给定DNN中某一层的特征，文章中的方法从特征中理顺feature components of different orders。更进一步的，作者设计了a set of metrics来评估reliability、effectiveness以及significance of over-fitting of these feature components。此外，作者还成功发现了DNN网络表现和feature复

3. Methodology将判别器定义为C(⋅)C(\cdot)C(⋅)，接受输入为图像xxx，输出为kkk维confidence vector。对于那些将每个图像分类为一类的判别器，我们设图像给出的标签i=arg max⁡jCj(x)i=\argmax\limits_{j}C_j(x)i=jargmax​Cj​(x)...

sci论文地址Introduction神经网络近些年已经在许多场景中得到了应用，但是一些神经网络的基础属性还没有被理解，这也是近些年研究的重点。更具体来说，神经网络对各种类型perturbation的robustness受到了很大的关注。图1阐述了深度神经网络对small additive perturbation的脆弱性：A dual phenomenon was observed in [3]...

论文地址摘要近期的研究揭示出深度神经网络（DNN）的输出可以很轻易地被通过在输入向量中添加relatively small perturbation来进行修改。在这篇论文中，作者分析了在一种极端情况下（只有单个像素可以被修改）的攻击。对于这种情况我们提出了一种基于differential evolution（DE）的novel method来生成单像素 adversarial perturbation。这种攻击方式需要更少的adversarial信息（一种黑盒攻击）并且由于DE的inherent fea

这篇文章14年发表在ECCV，可以说是CNN领域可视化理解的开山之作，这篇文献告诉我们CNN的每一层到底学习到了什么特征，然后作者通过可视化进行调整网络，提高了精度。在CNN的研究中，很多学者不明白，为什么通过某种调参、改动网络结构等精度会提高。而这篇文献的目的就是通过特征可视化，来告诉我们如何通过可视化的教读，查看我们的精度确实提高了，2.1 Visualization with a deconvnet想要理解一个convnet的operation首先需要解释中间层的feature activity。

3 Model首先考虑一个作用于图片的单层的Deconvolutional Network layer。这一层获取一张图片作为输入，这个图片用yiy^iyi进行表示，图片由K0K_0K0​个颜色通道组成：y1i,…,yK0iy_1^i,\dots,y_{K_0}^iy1i​,…,yK0​i​，我们将这些颜色通道中的每一个通道ccc都表示为一个由K1K_1K1​个latent特征图 zkiz_k^izki​ 与filter fk,cf_{k,c}fk,c​ 卷积结果的的线性加和：∑k=1K1zki⊕fk,

一、top1和top5top1-就是预测的label取最后概率向量里面最大的一个作为预测结果，如果你的预测结果中概率最大的那个分类正确，则预测正确。否则预测错误。top5-就是最后概率向量最大的前五名中，只要出现了正确概率即为预测正确。否则预测错误。二、Precision、Recall和Accuracy2.1 Precision和Recall假如一个用户向系统提交一个查询（例如“什么是猫”），系统返回了一系列查询的结果，这些结果是系统根据用户提交的信息，判定出来系统内所有跟这个信息有关的结果。

一、概念FLOPS：注意全大写，是floating point operation per second的缩写，意指每秒浮点运算次数，理解为计算速度。是一个衡量硬件性能的指标。FLOPs：注意s小写，是floating point operations的缩写（s表复数），意指浮点运算数，理解为计算量。可以用来衡量算法/模型的复杂度计算：参考...

摘要越来越大的神经网络和越来越大的数据集使得训练时间越来越长，阻碍了研究的进行。分布式的同步SGD通过将SGD的minibatches划分为一系列并行的worker，可能为上面的问题提供一个可能的解决方案。为了让这个方案尽量高效，每个worker的负载必须足够大，这使得SGD的minibatched变得很大。在这篇论文中，作者展示了当minibatched变得很大时，ImageNet数据集的训练过程会变得很困难，但是如果解决了这个问题，训练过的网络会展示出很好的泛化性能。特别的，作者在文章中展示了当min

摘要计算机视觉在帮助人们的日常生活方面有很大的潜力，比如寻找丢失的钥匙、浇花和提醒我们吃药。为了实现这样的功能，模型需要在日常生活的场景下被训练。但是这些场景都并不“有趣”，因此很少出现在YouTube或者电视上。所以怎样收集足够多且多样化的日常生活场景呢？作者提出了一种Hollywood in Home的方式。与在实验室拍摄视频不同，作者通过众包的方式下发视频剧本，让志愿者按照剧本进行拍摄。通过这种方式，作者构建了Charades数据集。这个数据集包括了9848个标注过的视频，每个视频都大概持续30秒，

摘要这个数据集是Kinetics-400的拓展版本，将400个类别扩展到了600个类别，每个类别都至少有600个视频片段。

四、动作分类实验作者使用了Kinetics-400数据集、

摘要这个数据集包括了四百种的人体动作类别，每一种类别都至少有400个视频片段，每个片段都取自不同的Youtube视频，持续大概十秒。数据集的动作类别包括人和物体的交互-比如弹奏乐器；人与人的交互-比如握手。...