Mr Sorry-CSDN博客

原创困扰我两天的问题：StratifiedShuffleSplit与train_test_split创建的数据集为何训练结果不同？

数据集划分的问题

2023-03-30 18:16:32 431 1

原创 Improved Mixed-Example Data Augmentation论文阅读笔记

Improved Mixed-Example Data AugmentationAbstract本文致力于研究为什么mixed数据增强方式在改变标签的情况下还可以增加网络性能，并提出了一种更加泛化的方法进行实验。Introductionmixup认为对数据增加线性性能是一种有效的归纳偏向，Between-class learning for image classification则认为，CNN把数据当作波来处理，因此这样的数据增强方式会对数据内部的分布加上限制。本文作者提出了一个问题：使用线性的

2022-03-03 19:50:49 2518

原创 Between-class Learning for Image Classification论文阅读笔记

Between-class Learning for Image ClassificationAbstract提出两种方法，第一种采用内部划分进行图像mix，可以取得好结果。第二种是将图像视为一种波，模仿BC的方法进行mix，此时会获得更好的结果。Introduction在声音分类问题上有一个有效的方法叫BC learning，那篇论文的作者认为，BC learning可以对特征的分布加以限制从而提升网络性能，而这特性是其他标准训练方法不具备的。本文作者假设网络处理图像时也会将凸图像视为波来处理，

2022-03-03 19:49:45 2297

原创 The Effectiveness of Data Augmentation in Image Classification using Deep论文阅读笔记

The Effectiveness of Data Augmentation in Image Classification using DeepAbstract本文的主要工作是对比各种数据增强技术的效果，其中包括传统的数据增强方法和一些使用GAN生成新数据的方法。最后，作者提出了一个新的方法，可以让网络学习如何进行数据增强来提高自己的性能。Introduction首先，作者基于自己的小网络训练一个baseline。然后，利用经典的数据增强技术再次训练该网络。接着，使用cycleGAN生成数据来训练

2022-03-01 15:01:20 279

原创 Data augmentation in feature space论文阅读笔记

Data augmentation in feature spaceAbstract本文，作者采用了一种简单的，与领域无关的方法进行数据增强。作者所做的改变是将数据增强的操作该到了特征空间中，而不是在输入的图像空间中。Introduction带标签数据是深度神经网络发展起来的一个关键因素，但是有标签数据的获取往往是需要大量的人力劳动的。通常，我们利用已有标签数据生产新的数据是十分常用的一种解决技术。但是，使用这种数据增强的方法往往需要专家来确保生成的数据是正确的。在本工作中，我们不是通过特定领域

2022-02-27 23:28:10 2618

原创探索loss.backward() 和optimizer.step()的关系并灵活运用

loss.backward() 和optimizer.step()的关系及灵活运用在deep learning的模型训练中，我们经常看到如下的代码片段：loss.backward()optimizer.step()那么，这两个函数到底是怎么联系在一起的呢？loss.backward()的作用我们都知道，loss.backward()函数的作用是根据loss来计算网络参数的梯度，其对应的输入默认为网络的叶子节点，即数据集内的数据，叶子节点如下图所示:同样的，该梯度信息也可以用函数torch.

2021-12-20 18:42:39 12714 3

原创 Universal Adversarial Attack on Attention and the Resulting Dataset DAmageNet论文阅读笔记

Universal Adversarial Attack on Attention and the Resulting Dataset DAmageNet简介本文作者提出了一种基于修改注意力热力图来获得对抗样本的算法，可以有效的迁移到黑箱模型进行对抗攻击Abstract目前，获取对抗样本需要对网络的结构和参数十分了解，对于那些不了解参数的网络可以通过具有相似结构的网络模型进行估计或者是通过大量的试错来获得对抗样本。作者通过修改网络的注意力热力图来获取一种全新的对抗样本，并基于ImageNet数据集构

2021-12-19 20:40:02 1005

原创 PatchUp: A Regularization Technique for Convolutional Neural Networks论文阅读笔记

PatchUp: A Regularization Technique for Convolutional Neural Networks本文的主要思想是将类似cutmix的方法运用到了网络隐层Introduction主要介绍了一些mixup方法，并提出该方法具有流形入侵的问题存在（mix后的图像与伪mix的原始图像类似，但标签确实mix后的标签，主演就产生了冲突，在训练网络时容易让网络混乱）。而解决该问题的方法有Mete-Mix和manifold mixup，Mete-Mix方法需要引入一个额外的网

2021-11-16 21:25:57 800

原创 On Adversarial Mixup Resynthesis论文阅读笔记

On Adversarial Mixup Resynthesis目的本文主要的工作是利用GAN和MixUp的技术来对两个图像进行混合，生成新的图像，具体效果如下图所示：方法细节无监督部分首先，利用encoder-decoder模式来在对图像进行提取特征和重构，为了让重构的图像与原始的输入差别尽可能的小，使用了L2 lossminF Ex∼p(x)∣∣x−g(f(x))∣∣2min_{F}\: E_{x\sim p(x)}||x-g(f(x))||_{2}minFEx∼p(x)∣∣x−g

2021-10-22 23:05:25 1025

原创 MixUp as Locally Linear Out-of-Manifold Regularization论文阅读笔记

MixUp as Locally Linear Out-of-Manifold Regularization问题MixUp方法会对一对输入的图像和其标签分别进行混合x^=λx+(1−λ)x′y^=λy+(1−λ)y′\hat{x} = \lambda x+(1-\lambda)x'\\\hat{y} = \lambda y+(1-\lambda)y'\\x^=λx+(1−λ)x′y^=λy+(1−λ)y′作者发现，有时混合数据x^\hat{x}x^会与已存在的数据特别类似，但此时他的标签是混

2021-10-02 21:32:31 449

原创 MixMo: Mixing Multiple Inputs for Multiple Outputs via Deep Subnetworks 论文阅读笔记

MixMo: Mixing Multiple Inputs for Multiple Outputs via Deep SubnetworksAbstract集成网络（ensembling）目前的主流方法是将一些子网络集成在一个单一的网络中，该网络有多个同时的输入，每一个子网络负责一个输入的分类。作者所研究的是如何对这些输入进行有效的mix该思想主要受到MixUp与CutMix的启发；mixup Beyond Empirical Risk MinimizationCutMix Regula

2021-09-17 11:34:12 138

原创 MixMo: Mixing Multiple Inputs for Multiple Outputs via Deep Subnetworks 论文阅读笔记

MixMo: Mixing Multiple Inputs for Multiple Outputs via Deep SubnetworksAbstract集成网络（ensembling）目前的主流方法是将一些子网络集成在一个单一的网络中，该网络有多个同时的输入，每一个子网络负责一个输入的分类。作者所研究的是如何对这些输入进行有效的mix该思想主要受到MixUp与CutMix的启发；mixup Beyond Empirical Risk MinimizationCutMix Regula

2021-09-17 11:32:36 325

原创线性回归公式推导

推导线性回归线性回归问题就是利用一个线性的方程对已有的数据点进行拟合，目的是当拟合成功后，给你一个新的数据可以利用该线性方程得到较为准确的预测；假设，我们现在又数据集X={x1,x2,......,xm}X=\{x^{1}, x^{2},......,x^{m}\}X={x1,x2,......,xm}，且其中的每一个数据xi=(x1i,x2i,......xni)x^{i}=(x^{i}_1,x^{i}_2,......x^{i}_n)xi=(x1i,x2i,......xni)是nnn维向量（

2021-08-15 17:29:28 839

原创 Rethinking Data Augmentation

Rethinking Data Augmentation: Self-Supervision and Self-DistillationAbstract对进行了数据增强（翻转，裁剪等操作）的增强数据任然使用原始标签时，如果增强数据的分布与原始数据有较大的差距，就会降低网络的准确率。为了解决这个问题，作者提出了简单有效的方法：学习新样本的原始标签和自监督标签的联合分布。为了提高训练速度，又引入了知识传播技术——自蒸馏。Self-supervised Data Augmentationx∈Rdx\i

2021-05-26 21:57:37 575

原创 Multi-attentional Deepfake Detection论文阅读笔记

Multi-attentional Deepfake DetectionAbstract以往的区分人脸造假的方法就是用一个网络先提取特征，然后再进行二分类（real/fake），作者提出利用Attention尽心细粒度分类；主要过程如下：多个空间注意力头，使网络注意到不同的局部信息纹理特征增强块，用于放大浅层特征中的子纹理瑕疵在注意图的指导下，聚集低层次的纹理特征和高层次的语义特征此外，为了解决这个网络的学习困难，我们进一步引入了一种新的区域独立性损失和一种注意力引导的数据挖掘策略。1.

2021-03-26 21:59:16 4612 2

原创在实时训练网络中显示CAM结果

在实时训练网络中显示CAM结果paper: Learning Deep Features for Discriminative Localization主要代码def ComputeCAM(features, softmax_weight, class_ids): class_ids = class_ids.long() m = [] for idx in class_ids: wei = softmax_weight[idx, :].unsqueeze(0

2021-01-20 17:32:05 563

原创 Towards Automated Testing and Robustification by Semantic Adversarial Data Generation论文阅读笔记

Towards Automated Testing and Robustification by Semantic Adversarial Data GenerationAbstract作者提出了一种语意对抗训练编辑器，该方法可以合理的合成一种困难样本，用来使目标模型失效，反过来说，如果在训练时使用该方法也可以让模型更加鲁棒。1. Introduction合成的样本在数据集分布之外，但人眼任然可以识别。作者通过真实数据点入手，通过一个可微分合成器模型进行约束语义编辑。该编辑器将物体的形状与外观颜色分

2021-01-09 22:45:36 129 1

原创 Towards Automated Testing and Robustification by Semantic Adversarial Data Generation论文阅读笔记

Towards Automated Testing and Robustification by Semantic Adversarial Data GenerationAbstract作者提出了一种语意对抗训练编辑器，该方法可以合理的合成一种困难样本，用来使目标模型失效，反过来说，如果在训练时使用该方法也可以让模型更加鲁棒。1. Introduction合成的样本在数据集分布之外，但人眼任然可以识别。作者通过真实数据点入手，通过一个可微分合成器模型进行约束语义编辑。该编辑器将物体的形状与外观颜色分

2021-01-09 22:41:35 145

原创 MixUp inference: better exploiting MixUp to defend adversarial attacks论文阅读笔记

MixUp inference: better exploiting MixUp to defend adversarial attacksAbstractMixUp引入了样本之间的全局线性关系，可以有效的提高网络的泛化能力和对对抗样本的鲁棒性；然而，在以往的工作中，MixUp训练模型仅通过直接对输入分类来被动防御对抗性攻击，而诱导的全局线性没有得到很好的利用。1. Introduction以往的工作证明，对抗样本主衍生自分类器在数据流形的局部不稳定性行为，此时，输入空间的一个小小的对抗扰动就会导致

2020-12-26 16:07:22 483

weixin_45180140的博客

原创困扰我两天的问题：StratifiedShuffleSplit与train_test_split创建的数据集为何训练结果不同？

原创 Improved Mixed-Example Data Augmentation论文阅读笔记

原创 Between-class Learning for Image Classification论文阅读笔记

原创 The Effectiveness of Data Augmentation in Image Classification using Deep论文阅读笔记

原创 Data augmentation in feature space论文阅读笔记

原创探索loss.backward() 和optimizer.step()的关系并灵活运用

原创 Universal Adversarial Attack on Attention and the Resulting Dataset DAmageNet论文阅读笔记

原创 PatchUp: A Regularization Technique for Convolutional Neural Networks论文阅读笔记

原创 On Adversarial Mixup Resynthesis论文阅读笔记

原创 MixUp as Locally Linear Out-of-Manifold Regularization论文阅读笔记

原创 MixMo: Mixing Multiple Inputs for Multiple Outputs via Deep Subnetworks 论文阅读笔记

原创 MixMo: Mixing Multiple Inputs for Multiple Outputs via Deep Subnetworks 论文阅读笔记

原创线性回归公式推导

原创 Rethinking Data Augmentation

原创 Multi-attentional Deepfake Detection论文阅读笔记

原创在实时训练网络中显示CAM结果

原创 Towards Automated Testing and Robustification by Semantic Adversarial Data Generation论文阅读笔记

原创 Towards Automated Testing and Robustification by Semantic Adversarial Data Generation论文阅读笔记

原创 MixUp inference: better exploiting MixUp to defend adversarial attacks论文阅读笔记

原创 Striking the Right Balance with Uncertainty论文阅读笔记

原创 FBNet: Hardware-Aware Efficient ConvNet Designvia Differentiable Neural Architecture Searc论文阅读笔记

原创 Dynamic Region-Aware Convolution论文阅读笔记

转载数据集分割

空空如也

空空如也