深度学习
文章平均质量分 93
wbzuo
学生
展开
-
Feature Alignment and Uniformity for Test Time Adaptation--论文笔记
TTA在接收训练分布外的测试域样本时对深度神经网络进行自适应。在这样设置下,模型只能访问在线未标记的测试样本和训练域上的预训练模型。由于源域和目标域之间的域差距,我们首先将TTA作为一个特征修正问题来解决。之后,我们根据对齐和一致性两个方面来讨论测试时间特征的修正。对于测试时间特征一致性,我们提出了一种测试时间自蒸馏策略,以确保当前批次和所有先前批次的表示之间的一致性。对于测试时间特征对齐,我们提出了一种记忆的空间局部聚类策略,以对齐即将到来的批次的邻域样本之间的表示。原创 2024-07-11 17:11:57 · 1122 阅读 · 1 评论 -
DELTA: DEGRADATION-FREE FULLY TEST-TIME ADAPTATION--论文笔记
完全测试时间自适应旨在使预训练模型在实时推理过程中适应测试数据流,当测试数据分布与训练数据分布不同时,这种方法很有效。为提高适应性能作出了若干努力。然而,我们发现,在一些刘硎的的自适应方法中,如测试时批量归一化(BN)和自学习,隐藏了两个不利的缺陷。首先,我们指明了测试时间BN中的归一化统计量完全受当前接收的测试样本的影响,会导致不准确的估计。其次,我们证明了在测试时间自适应过程中,参数更新偏向于一些优势类。原创 2024-07-10 21:32:04 · 1374 阅读 · 2 评论 -
Test-Time Adaptation via Conjugate Pseudo-labels--论文笔记
测试时间适应(TTA)指的是使神经网络适应分布变化,在测试时间仅访问来自新领域的未标记测试样本。以前的TTA方法对无监督目标进行优化,如Tent中模型预测的熵,但尚不清楚究竟是什么造成了良好的TTA损失。本文首先提出一个令人惊讶的现象:如果我们试图在一个广泛类别函数上元学习可能的最佳TTA损失,那么我们恢复的函数与Tent使用的Softmax-熵非常相似(温度缩放的版本)。然而,这只有在我们正在适应的分类器是通过交叉熵损失来训练的情况下才成立;原创 2024-07-09 15:46:06 · 1148 阅读 · 0 评论 -
SHARPNESS-AWARE MINIMIZATION FOR EFFICIENTLY IMPROVING GENERALIZATION--论文笔记
在当今严重过度参数化的模型中,训练损失的值很难保证模型的泛化能力。事实上,像通常所做的那样,只优化训练损失值很容易导致次优的模型质量。受损失的几何图像与泛化相结合的前人工作的启发,我们引入了一种新的、有效的同时最小化损失值和损失锐度的方法。特别是,我们的方法,锐度感知最小化(SAM),寻找位于具有一致低损失的邻域的参数;这个公式致使一个最小值-最大值的优化问题,在该问题上可以有效地执行梯度下降。原创 2024-07-09 07:00:00 · 961 阅读 · 1 评论 -
In Search of Lost Online Test-time Adaptation: A Survey--论文笔记
本文介绍了在线测试时间适应(online test-time adaptation,OTTA)的全面调查,OTTA是一种专注于使机器学习模型适应批量到达时的新数据分布的新方法。尽管最近OTTA方法得到了广泛应用,但该领域仍陷入了诸如模糊设置、过时的主干网络和不一致的超参数调优等问题,这些问题混淆了真正的挑战,并使可重复性难以捉摸。为了清晰和严格的比较,我们将OTTA技术分为三个主要类别,并使用强大的视觉转换(ViT)主干对它们进行基准测试,以发现真正有效的策略。原创 2024-07-08 12:25:33 · 1024 阅读 · 1 评论 -
VIDA: HOMEOSTATIC VISUAL DOMAIN ADAPTER FOR CONTINUAL TEST TIME ADAPTATION--论文笔记
针对实际机器系统运行在非平稳环境中的特点,提出了连续测试时间自适应(CTTA)任务,使预先训练的模型能够适应不断变化的目标域。目前,已有的方法主要集中在基于模型的自适应,旨在利用自训练的方式来提取目标域的知识。然而,在动态数据分布下,==伪标签可能存在噪声,更新后的模型参数不可靠,导致在连续的自适应过程中误差累积和灾难性遗忘。==为了应对这些挑战并保持模型的可塑性,我们设计了一个用于CTTA的可视化领域适配器(VIDA),显式地处理领域特定知识和领域共享知识。原创 2024-07-08 10:29:53 · 974 阅读 · 1 评论 -
Pseudo-Label : The Simple and Efficient Semi-Supervised Learning Method--论文笔记
本文提出了一种简单有效的深度神经网络半监督学习方法。基本上,所提出的网络是以有监督的方式同时使用标记数据和未标记数据来训练的。对于未标记的数据,只要选取具有最大预测概率的类别,就可以使用伪标签,就好像它们是真标签一样。这实际上等同于熵正则化。它支持类之间的低密度分离,这是半监督学习通常假设的先验条件。在MNIST手写数字数据集上,利用去噪自动编码器和丢弃,这种简单的方法在标签数据非常少的情况下优于传统的半监督学习方法。如果没时间挨个推导,至少要大概指导他讲什么。原创 2024-07-06 00:00:13 · 320 阅读 · 1 评论 -
U-Net: Convolutional Networks for Biomedical Image Segmentation--论文笔记
人们普遍认为,深度网络的成功训练需要数千个带注释的训练样本。在本文中,我们提出了一种网络和训练策略,该策略依赖于数据增强的强大使用,以更有效地使用可用的注释样本。该体系结构包括捕获上下文的收缩路径和支持精确定位的对称扩展路径。我们表明,这样的网络可以从很少的图像中进行端到端训练,并且在ISBI挑战中优于先前的最佳方法(滑动窗口卷积网络),以分割电子显微镜堆栈中的神经元结构。使用在透射光显微镜图像(相位对比和DIC)上训练的相同网络,我们在这些类别中以很大的优势赢得了2015年ISBI细胞跟踪挑战赛。原创 2024-06-04 13:48:09 · 1037 阅读 · 1 评论 -
Attention Is All You Need--论文笔记
主要的序列转导模型是基于复杂的RNN(循环神经网络)或CNN(卷积神经网络),一个编码器和一个解码器。表现最好的模型还通过注意机制连接的编码器和解码器。我们提出了一个新的简单的网络架构,Transformer,完全基于注意力机制,完全摒弃循环和卷积。在两个机器翻译任务上的实验表明,这些模型在质量上更优越,同时更具并行性,并且需要更少的训练时间。我们的模型在WMT 2014英语-德语翻译任务上实现了28.4 BLEU,比现有的最佳结果(包括集合)提高了2个BLEU以上。原创 2024-06-03 11:56:47 · 981 阅读 · 0 评论 -
TENT: FULLY TEST-TIME ADAPTATION BY ENTROPY MINIMIZATION--论文笔记
在这种完全测试时适应的情况下,模型只有测试数据和自身参数。我们建议通过测试熵最小化(tent)进行适应:我们通过预测熵来优化模型的置信度。我们的方法会估算归一化统计量,并优化通道仿射变换,以便在每个批次上进行在线更新。Tent 降低了损坏的 ImageNet 和 CIFAR-10/100 图像分类的泛化误差,并达到了最先进的误差。在从 SVHN 到 MNIST/MNIST-M/USPS 的数字识别、从 GTA 到 Cityscapes 的语义分割以及 VisDA-C 基准上,Tent 处理了无源域适应。原创 2024-05-21 16:16:00 · 905 阅读 · 0 评论 -
MobileNets: Efficient Convolutional Neural Networks for Mobile Vision Applications--论文笔记
我们提出了一类称为mobilenet的高效模型,用于移动和嵌入式视觉应用。MobileNets基于流线型架构,使用深度可分离卷积来构建轻量级深度神经网络。我们引入了两个简单的全局超参数,它们可以有效地在延迟和准确性之间进行权衡。这些超参数允许模型构建者根据问题的约束为其应用程序选择合适大小的模型。我们在资源和精度权衡方面进行了广泛的实验,与其他流行的ImageNet分类模型相比,我们展示了强大的性能。原创 2024-05-25 11:40:28 · 394 阅读 · 0 评论 -
VERY DEEP CONVOLUTIONAL NETWORKS FOR LARGE-SCALE IMAGE RECOGNITION--论文笔记
在这项工作中,我们研究了卷积网络深度对其在大规模图像识别设置中的准确性的影响。我们的主要贡献是使用具有非常小(3 × 3)卷积滤波器的架构对增加深度的网络进行全面评估,这表明通过将深度推至16-19权重层可以实现对现有技术配置的显着改进。这些发现是我们2014年ImageNet挑战赛提交的基础,我们的团队分别在本地化和分类轨道中获得了第一名和第二名。我们还表明,我们的表示可以很好地推广到其他数据集,从而获得最先进的结果。原创 2024-05-23 01:32:49 · 898 阅读 · 0 评论 -
ImageNet Classification with Deep Convolutional Neural Networks--论文笔记
模型架构网络架构如下图所示。它包含八个学习层——五个卷积层和三个全连接层。第一个卷积层是输入层,输入224×224×3图像,采用96个大小为11×11×3的卷积核,步幅为4像素进行卷积过滤,响应归一化和池化,并输出结果第二个卷积层将第一个卷积层的输出作为输入,并使用256个大小为5 × 5 × 48的卷积核对其进行卷积过滤第三层、第四层和第五层卷积层相互连接,没有任何中间池化层或归一化层。第三个卷积层有384个大小为3 × 3 × 256的核,这些核连接到第二个卷积层的输出(归一化,池化)。原创 2024-05-23 08:25:16 · 880 阅读 · 1 评论 -
SQUEEZENET: ALEXNET-LEVEL ACCURACY WITH 50X FEWER PARAMETERS AND <0.5MB MODEL SIZE--论文笔记
最近对深度卷积神经网络(cnn)的研究主要集中在提高准确性上。对于给定的精度级别,通常可以识别达到该精度级别的多个CNN架构。==在同等精度的情况下,较小的CNN架构提供了至少三个优势:(1)较小的CNN在分布式训练期间需要更少的服务器间通信。(2)较小的cnn从云端导出新模型到自动驾驶汽车所需的带宽更少。(3)较小的cnn更适合部署在fpga和其他内存有限的硬件上。==为了提供所有这些优势,我们提出了一个名为SqueezeNet的小型CNN架构。原创 2024-05-23 09:37:52 · 940 阅读 · 1 评论 -
Deep Residual Learning for Image Recognition--论文笔记
深度神经网络更难训练。我们提出了一个残差学习框架,以简化比以前使用的网络深度大得多的网络的训练。我们明确地将层重新表述为参考层输入的学习残差函数,而不是学习未参考的函数。我们提供了全面的经验证据,表明这些残差网络更容易优化,并且可以从相当大的深度中获得精度。在ImageNet数据集上,我们评估了深度高达152层的残差网络——比VGG网络深度8倍[41],但仍然具有较低的复杂性。这些残差网络的集合在ImageNet测试集上的误差达到3.57%。该结果在ILSVRC 2015分类任务中获得第一名。原创 2024-05-21 17:28:14 · 1475 阅读 · 0 评论