- 博客(20)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 Diversifying Sample Generation for Accurate Data-Free Quantization
Diversifying Sample Generation for Accurate Data-Free Quantization量化已经成为压缩和加速神经网络的最普遍的方法之一。最近，无数据量化作为一种实用且有前景的解决方案得到了广泛研究。它根据FP32的批归一化(BN)统计量合成数据来校准量化模型，大大缓解了传统量化方法对真实训练数据的严重依赖。遗憾的是，我们发现在实际应用中，由BN统计量约束的合成数据在分布层面和样本层面都存在严重的同质化问题，进一步导致量化模型的性能明显下降。我们提出了多样化样
2021-03-26 14:52:38
641
原创 DivCo Diverse Conditional Image Synthesis via Contrastive Generative Adversarial Network
DivCo: Diverse Conditional Image Synthesis via Contrastive Generative Adversarial Network条件生成对抗网络（Conditional generative advictorial networks，cGANs）的目标是在给定输入条件和latent codes的情况下合成各种不同的图像，但不幸的是，它们通常会遇到模式崩溃的问题。为了解决这个问题，以前的工作[47，22]主要集中在鼓励latent codes与其生成的图像之
2021-03-25 16:12:30
632
原创 Unsupervised Domain Adaptation by Backpropagation
Unsupervised Domain Adaptation by Backpropagation顶级性能的深层体系结构是在大量标记数据上训练的。在某项任务没有标记数据的情况下，域适配(domain adaptation)通常提供了一个有吸引力的选择，因为具有相似性质但来自不同domain的标记数据（例如合成图像）是可用的。在这里，我们提出了一种新的深度体系结构domain adaptation方法，该方法可以训练来自source domain的大量标记数据和来自target domain的大量未标记数据
2021-03-23 17:29:16
2313
原创 Implicit Generation and Generalization with Energy-Based Models
Implicit Generation and Generalization with Energy-Based Models基于能量的模型（ebm）由于其在似然建模中的通用性和简单性而具有吸引力，但传统上很难训练。我们通过现代架构上的MCMC框架提出了扩展EBM训练的技术。我们发现，EBMs上的MCMC在CIFAR10上生成的真实图像样本比最新的似然模型更为一致，并且与GANs相当，而没有出现模式崩溃，并且在时间序列数据上明显优于相同的前馈模型。我们进一步表明，EBMs能够实现比其他最先进的生成模型更好
2021-03-23 15:06:20
430
原创 Bayesian Learning via Stochastic Gradient Langevin Dynamics
Bayesian Learning via Stochastic Gradient Langevin Dynamics在本文中，我们提出了一个新的框架，用于从大规模数据集中学习，基于从small mini-batches中迭代学习。通过在标准的随机梯度优化算法中加入适量的噪声，我们表明，当我们anneal the stepsize，迭代将收敛到真实后验分布的样本。这种优化和贝叶斯后验抽样之间的无缝过渡提供了一个内在的保护，防止过度拟合。我们还提出了一种实用的后验统计蒙特卡罗估计方法，它可以监控 “抽样阈值
2021-03-23 11:22:20
3310
原创 YOUR CLASSIFIER IS SECRETLY AN ENERGY BASED MODEL AND YOU SHOULD TREAT IT LIKE ONE
YOUR CLASSIFIER IS SECRETLY AN ENERGY BASED MODEL AND YOU SHOULD TREAT IT LIKE ONE我们提出将标准的判别分类器p(y∣x)p(y|x)p(y∣x)重新解释为基于能量的联合分布模型p(x,y)p(x,y)p(x,y)。在此设置中，标准类概率以及p（x）和p(y∣x)p(y|x)p(y∣x)的unnormalized values可以容易地计算。可以使用标准的判别架构，模型也可以在未标记的数据上进行训练。我们证明了基于能量的联合分
2021-03-22 20:37:36
533
原创 A Tutorial on Energy-Based Learning 2.2
2.2 Examples of Loss Functions我们现在描述了机器学习文献中提出和使用的一些标准损失函数。我们将讨论它们，并在基于能量的环境中将它们分为“好”或“坏”。暂时，我们抛开正则化项，集中在损失函数的数据相关部分。2.2.1 Energy Loss所有损失函数中最简单和最直接的是能量损失。对于训练样本（Xi，yi），每个样本的损失定义如下：这种损失函数虽然在回归和神经网络训练等方面非常流行，但不能用于训练大多数体系结构：虽然这种损失会降低所需答案的能量，但不会增加任何其他能量。
2021-03-22 17:32:47
134
原创 A Tutorial on Energy-Based Learning
A Tutorial on Energy-Based Learning1 Introduction: Energy-Based Models统计建模和机器学习的主要目的是编码变量之间的依赖关系。通过捕获这些依赖关系，模型可以用来回答给定已知变量值的未知变量值的问题。基于能量的模型（ebm）通过将标量能量（兼容性的度量）与变量的每个configuration相关联来捕获依赖性。推理，即作出预测或决定，包括设定观察变量的值c和找出使能量最小化的剩余变量的值。学习包括找到一个能量函数，将低能量与其余变量的正
2021-03-22 15:55:55
741
原创 Domain Impression A Source Data Free Domain Adaptation Method
Domain Impression: A Source Data Free Domain Adaptation Method无监督域自适应方法解决了一个未标记目标集的自适应问题，假设源数据集具有所有标签。然而，在实际案例中，实际来源样本的可用性并不总是可能的。这可能是由于内存限制、隐私问题和共享数据的挑战造成的。这个实际场景在域适配问题中造成了一个瓶颈。本文通过提出一种不需要任何源数据的domain adaptation technique来解决这一具有挑战性的问题。我们只提供了一个在源数据上训练的分类器
2021-03-22 01:39:52
855
原创 Large-Scale Generative Data-Free Distillation
Large-Scale Generative Data-Free Distillation我们提出了一种新的方法，通过利用训练教师网络的内在归一化层的统计数据来训练生成式图像模型。这使我们能够构建一个无需训练数据的生成器集合，从而有效地生成后续蒸馏的替代输入。该方法使CIFAR-10和CIFAR-100的无数据蒸馏性能分别提高到95.02%和77.02%。此外，我们能够将其扩展到ImageNet数据集，据我们所知，在无数据环境中，从未使用生成模型。[外链图片转存失败,源站可能有防盗链机制,建议将图片保
2021-03-19 17:50:05
490
原创 Learning in School Multi-teacher Knowledge Inversion for Data-Free Quantization
Learning in School: Multi-teacher Knowledge Inversion for Data-Free Quantization之前的工作提出通过匹配给定的特定预训练模型的激活分布来生成假图像。然而，这种假数据不能轻易地应用于其他模型，并且是通过一个不变的目标来优化，导致缺乏通用性和多样性。为了解决这些问题，我们提出了Learning in School（LIS）算法，能够通过反转多个教师的知识来生成适合所有模型的图像。我们进一步引入了一种分散式的训练策略，通过从hiera
2021-03-19 16:39:31
217
原创 Effectiveness of Arbitrary Transfer Sets for Data-free Knowledge Distillation
Effectiveness of Arbitrary Transfer Sets for Data-free Knowledge Distillation其中一些方法(如[14])需要额外存储关于原始训练数据集的元数据(如教师模型的特征统计)以生成合成转移集。此外，在图像数据的情况下，经常观察到生成的样本与训练数据样本在视觉上相当不同（图1(a)）。也就是说，它们并不靠近数据歧管中的训练样本。同时，目前还不清楚，尽管这些样本看起来是 "非分布 "和 "远离真实 "的，但如何或为什么这些样本能够在模型之间
2021-03-19 11:26:57
168
原创 Layer-Wise Data-Free CNN Compression
Layer-Wise Data-Free CNN Compression我们的无数据网络压缩方法从一个训练好的网络开始，创建一个具有相同体系结构的压缩网络。这种方法在概念上类似于知识蒸馏[23]，即使用预先训练好的“教师”网络来训练“学生”网络。但是知识蒸馏需要训练数据。以前的方法都是通过生成数据来解决这个问题，比如Adversarial Knowledge Distillation（AKD）[6]和Deep Inversion（DI）[51]。然而，这些方法的计算成本很高。图1。我们的方法概述。我们
2021-03-19 09:31:59
1101
原创 Data-Free Quantization ThroughWeight Equalization and Bias Correction
Data-Free Quantization ThroughWeight Equalization and Bias Correction然而，量化模型以8位运行是一项非平凡的任务，经常会导致性能显著降低或花费工程时间来训练网络以适应量化。我们的方法是通过利用激活函数的scale-equivariance property来均衡网络中的权重范围。此外，该方法还校正了量化过程中引入的误差偏差。这提高了量化精度性能，并且可以通过直接的API调用应用于许多常见的计算机视觉体系结构。对于常见的体系结构，如Mobi
2021-03-17 20:36:16
343
原创 Deep Neural Networks are Easily Fooled High Confidence Predictions for Unrecognizable Images
Subclass Distillation当一个大型的“教师”神经网络在标记数据上训练后，教师分配给错误类的概率揭示了许多关于教师泛化方式的信息。通过训练一个小的“学生”模型来匹配这些概率，就有可能把教师的大部分泛化能力转移到学生身上，通常产生的小型模型比直接在训练数据上训练学生要好得多。当有许多可能的类时，迁移效果最好，因为更多的是关于教师学习的函数，但是在只有少数可能的类的情况下，我们表明，我们可以通过强迫教师将每个类划分为许多子类来改进迁移，这些子类是在监督训练期间发现的。训练学生最小化两个不同交
2021-03-12 17:47:32
224
原创 Understanding Deep Image Representations by Inverting Them
Understanding Deep Image Representations by Inverting Them图1.CNN编码的是什么？图中显示了在ImageNet数据上训练的参考CNN[13]（应用softmax之前）倒数第二层提取的1000维输出所得到的参考图像的五种可能的重建。从模型的角度来看，所有这些图像实际上都是等价的。这张图片最好用彩色/屏幕观看。在本文中，我们通过表征其保留的图像信息（characterising the image information that they re
2021-03-03 20:43:21
351
1
原创 Inverting Visual Representations with Convolutional Networks
Inverting Visual Representations with Convolutional NetworksMahendran和Vedaldi[19]使用梯度下降法反转可微图像表示Φ\PhiΦ。给定一个特征向量Φ0\Phi_0Φ0，他们尝试寻找能最小化损失函数一张图片x∗x^*x∗。损失函数为Φ0\Phi_0Φ0和Φ(x)\Phi(x)Φ(x)的欧氏距离的平方加上一个正则化项来强制自然的图像优先（enforcing a natural image prior）。这种方法与我们的方法有本质的
2021-03-03 15:14:10
339
1
翻译 Inceptionism Going Deeper into Neural Networks
Inceptionism: Going Deeper into Neural Networks近年来，人工神经网络在图像分类和语音识别方面取得了显著的进展。但是，尽管这些都是基于众所周知的数学方法的非常有用的工具，但我们实际上对某些模型工作而其他模型不工作的原因却知之甚少。所以让我们来看看一些简单的技术来窥视这些网络。我们训练一个人工神经网络，向它展示数以百万计的训练例子，并逐步调整网络参数，直到它给出我们想要的分类。该网络通常由10-30层人工神经元组成。每幅图像都被送入输入层，然后输入层与下一层对话
2021-03-02 20:43:12
210
1
原创 Dreaming to Distill Data-free Knowledge Transfer via DeepInversion
Dreaming to Distill: Data-free Knowledge Transfer via DeepInversion我们介绍了DeepInversion，一种从图像分布中合成图像的新方法，用于训练深度 神经网络。我们将一个训练有素的网络（老师）"反转 "为 从随机噪声开始合成class-conditional 输入图像，而不使用任何额外的训练数据集。在保持老师固定的情况下，我们的方法在优化输入的同时，利用老师的batch normalization层中存储的信息对中间特征图的分布进行规整
2021-03-02 20:15:40
1619
1
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人