weixin_45180140的博客

Improved Mixed-Example Data AugmentationAbstract本文致力于研究为什么mixed数据增强方式在改变标签的情况下还可以增加网络性能，并提出了一种更加泛化的方法进行实验。Introductionmixup认为对数据增加线性性能是一种有效的归纳偏向，Between-class learning for image classification则认为，CNN把数据当作波来处理，因此这样的数据增强方式会对数据内部的分布加上限制。本文作者提出了一个问题：使用线性的

Between-class Learning for Image ClassificationAbstract提出两种方法，第一种采用内部划分进行图像mix，可以取得好结果。第二种是将图像视为一种波，模仿BC的方法进行mix，此时会获得更好的结果。Introduction在声音分类问题上有一个有效的方法叫BC learning，那篇论文的作者认为，BC learning可以对特征的分布加以限制从而提升网络性能，而这特性是其他标准训练方法不具备的。本文作者假设网络处理图像时也会将凸图像视为波来处理，

The Effectiveness of Data Augmentation in Image Classification using DeepAbstract本文的主要工作是对比各种数据增强技术的效果，其中包括传统的数据增强方法和一些使用GAN生成新数据的方法。最后，作者提出了一个新的方法，可以让网络学习如何进行数据增强来提高自己的性能。Introduction首先，作者基于自己的小网络训练一个baseline。然后，利用经典的数据增强技术再次训练该网络。接着，使用cycleGAN生成数据来训练

Data augmentation in feature spaceAbstract本文，作者采用了一种简单的，与领域无关的方法进行数据增强。作者所做的改变是将数据增强的操作该到了特征空间中，而不是在输入的图像空间中。Introduction带标签数据是深度神经网络发展起来的一个关键因素， 但是有标签数据的获取往往是需要大量的人力劳动的。通常，我们利用已有标签数据生产新的数据是十分常用的一种解决技术。但是，使用这种数据增强的方法往往需要专家来确保生成的数据是正确的。在本工作中，我们不是通过特定领域

Universal Adversarial Attack on Attention and the Resulting Dataset DAmageNet简介本文作者提出了一种基于修改注意力热力图来获得对抗样本的算法，可以有效的迁移到黑箱模型进行对抗攻击Abstract目前，获取对抗样本需要对网络的结构和参数十分了解，对于那些不了解参数的网络可以通过具有相似结构的网络模型进行估计或者是通过大量的试错来获得对抗样本。作者通过修改网络的注意力热力图来获取一种全新的对抗样本，并基于ImageNet数据集构

PatchUp: A Regularization Technique for Convolutional Neural Networks本文的主要思想是将类似cutmix的方法运用到了网络隐层Introduction主要介绍了一些mixup方法，并提出该方法具有流形入侵的问题存在（mix后的图像与伪mix的原始图像类似，但标签确实mix后的标签，主演就产生了冲突，在训练网络时容易让网络混乱）。而解决该问题的方法有Mete-Mix和manifold mixup，Mete-Mix方法需要引入一个额外的网

On Adversarial Mixup Resynthesis目的本文主要的工作是利用GAN和MixUp的技术来对两个图像进行混合，生成新的图像，具体效果如下图所示：方法细节无监督部分首先，利用encoder-decoder模式来在对图像进行提取特征和重构，为了让重构的图像与原始的输入差别尽可能的小，使用了L2 lossminF Ex∼p(x)∣∣x−g(f(x))∣∣2min_{F}\: E_{x\sim p(x)}||x-g(f(x))||_{2}minF​Ex∼p(x)​∣∣x−g

MixUp as Locally Linear Out-of-Manifold Regularization问题MixUp方法会对一对输入的图像和其标签分别进行混合x^=λx+(1−λ)x′y^=λy+(1−λ)y′\hat{x} = \lambda x+(1-\lambda)x'\\\hat{y} = \lambda y+(1-\lambda)y'\\x^=λx+(1−λ)x′y^​=λy+(1−λ)y′作者发现，有时混合数据x^\hat{x}x^会与已存在的数据特别类似，但此时他的标签是混

MixMo: Mixing Multiple Inputs for Multiple Outputs via Deep SubnetworksAbstract集成网络（ensembling）目前的主流方法是将一些子网络集成在一个单一的网络中，该网络有多个同时的输入，每一个子网络负责一个输入的分类。作者所研究的是如何对这些输入进行有效的mix该思想主要受到MixUp与CutMix的启发；mixup Beyond Empirical Risk MinimizationCutMix Regula

推导线性回归线性回归问题就是利用一个线性的方程对已有的数据点进行拟合，目的是当拟合成功后，给你一个新的数据可以利用该线性方程得到较为准确的预测；假设，我们现在又数据集X={x1,x2,......,xm}X=\{x^{1}, x^{2},......,x^{m}\}X={x1,x2,......,xm}，且其中的每一个数据xi=(x1i,x2i,......xni)x^{i}=(x^{i}_1,x^{i}_2,......x^{i}_n)xi=(x1i​,x2i​,......xni​)是nnn维向量（

Rethinking Data Augmentation: Self-Supervision and Self-DistillationAbstract对进行了数据增强（翻转，裁剪等操作）的增强数据任然使用原始标签时，如果增强数据的分布与原始数据有较大的差距，就会降低网络的准确率。为了解决这个问题，作者提出了简单有效的方法：学习新样本的原始标签和自监督标签的联合分布。为了提高训练速度，又引入了知识传播技术——自蒸馏。Self-supervised Data Augmentationx∈Rdx\i

Multi-attentional Deepfake DetectionAbstract以往的区分人脸造假的方法就是用一个网络先提取特征，然后再进行二分类（real/fake），作者提出利用Attention尽心细粒度分类；主要过程如下：多个空间注意力头，使网络注意到不同的局部信息纹理特征增强块，用于放大浅层特征中的子纹理瑕疵在注意图的指导下，聚集低层次的纹理特征和高层次的语义特征此外，为了解决这个网络的学习困难，我们进一步引入了一种新的区域独立性损失和一种注意力引导的数据挖掘策略。1.

在实时训练网络中显示CAM结果paper: Learning Deep Features for Discriminative Localization主要代码def ComputeCAM(features, softmax_weight, class_ids): class_ids = class_ids.long() m = [] for idx in class_ids: wei = softmax_weight[idx, :].unsqueeze(0

Towards Automated Testing and Robustification by Semantic Adversarial Data GenerationAbstract作者提出了一种语意对抗训练编辑器，该方法可以合理的合成一种困难样本，用来使目标模型失效，反过来说，如果在训练时使用该方法也可以让模型更加鲁棒。1. Introduction合成的样本在数据集分布之外，但人眼任然可以识别。作者通过真实数据点入手，通过一个可微分合成器模型进行约束语义编辑。该编辑器将物体的形状与外观颜色分

MixUp inference: better exploiting MixUp to defend adversarial attacksAbstractMixUp引入了样本之间的全局线性关系，可以有效的提高网络的泛化能力和对对抗样本的鲁棒性；然而，在以往的工作中，MixUp训练模型仅通过直接对输入分类来被动防御对抗性攻击，而诱导的全局线性没有得到很好的利用。1. Introduction以往的工作证明，对抗样本主衍生自分类器在数据流形的局部不稳定性行为，此时，输入空间的一个小小的对抗扰动就会导致

Striking the Right Balance with UncertaintyAbstract在不平衡样本集中训练一个无偏模型是一个困难的问题，作者提出了一种基于贝叶斯不确定性的新的网络结构，该结构主要有一下两个关键之处:首先，对不确定(罕见)类进一步扩展分类边界，避免过拟合，增强其泛化能力。其次，每个样本都应该建模为一个多变量高斯分布的平均向量和一个由样本的不确定性确定的协方差矩阵。学习边界不仅要考虑单个样本，还要考虑它们在特征空间中的分布。作者提出的方法有效地利用样本和类的不确定性

FBNet: Hardware-Aware Efficient ConvNet Designvia Differentiable Neural Architecture SearchAbstractConvNet体系结构的优化取决于输入分辨率和目标设备等因素作者提出了一种可微的神经网络搜索体系，可以利用梯度下降法去优化code adress：https://github.com/facebookresearch/mobile-vision1. Introduction在以往的

Dynamic Region-Aware ConvolutionAbstract在空间上，针对不同的的区域使用不同的filter进行convolution标准卷积通过增加channel来提取视觉信息，但会花费很多算力该方法将增加channel修改为在不同的区域使用不同的filter，该方法提高了卷积的表现力并保持了平移不变性Introduction目前的主流卷积是filter在空间上共享，当卷积操作不断重复时就能提取特征该方法有两个缺点：计算效率不高优化困难通过语音分

How to Split Dataset目的：将训练数据集分为训练集(train_dataset)和验证集(validation_dataset)，其中训练集包括有标签数据和无标签数据；具体步骤分为三部曲：利用torch的内置函数载入数据集分割数据集并载入，注意要保证数据与标签一一对应在训练和测试时使用分割后的数据1. 载入数据（以Cifar10为例）利用torchvision.datasets.CIFAR10直接载入数据，具体代码如下所示：train_path = '' #训练数据的