- 博客(40)
- 问答 (1)
- 收藏
- 关注
RSS订阅原创 DLTTA: Dynamic Learning Rate for Test-time Adaptation on Cross-domain Medical Images--论文笔记
为了有效地解决来自不同机构的医学图像在测试时间的跨域分布偏移问题，测试时间自适应(TTA)日益成为一个重要的研究课题以前的TTA方法有一个共同的限制，即对所有测试样本使用固定的学习率。这样的实践对于TTA来说是次优的，因为测试数据可能是顺序到达的，因此分布转移的规模会经常变化。为了解决这个问题，我们提出了一种新的测试时间适应的动态学习率调整方法，称为DLTTA，该方法动态调节每个测试图像的权重更新量，以考虑其分布变化的差异。
2024-07-12 15:58:44
944
原创 Feature Alignment and Uniformity for Test Time Adaptation--论文笔记
TTA在接收训练分布外的测试域样本时对深度神经网络进行自适应。在这样设置下，模型只能访问在线未标记的测试样本和训练域上的预训练模型。由于源域和目标域之间的域差距，我们首先将TTA作为一个特征修正问题来解决。之后，我们根据对齐和一致性两个方面来讨论测试时间特征的修正。对于测试时间特征一致性，我们提出了一种测试时间自蒸馏策略，以确保当前批次和所有先前批次的表示之间的一致性。对于测试时间特征对齐，我们提出了一种记忆的空间局部聚类策略，以对齐即将到来的批次的邻域样本之间的表示。
2024-07-11 17:11:57
1119
1
原创 DELTA: DEGRADATION-FREE FULLY TEST-TIME ADAPTATION--论文笔记
完全测试时间自适应旨在使预训练模型在实时推理过程中适应测试数据流，当测试数据分布与训练数据分布不同时，这种方法很有效。为提高适应性能作出了若干努力。然而，我们发现，在一些刘硎的的自适应方法中，如测试时批量归一化（BN）和自学习，隐藏了两个不利的缺陷。首先，我们指明了测试时间BN中的归一化统计量完全受当前接收的测试样本的影响，会导致不准确的估计。其次，我们证明了在测试时间自适应过程中，参数更新偏向于一些优势类。
2024-07-10 21:32:04
1372
2
原创 Test-Time Adaptation via Conjugate Pseudo-labels--论文笔记
测试时间适应(TTA)指的是使神经网络适应分布变化，在测试时间仅访问来自新领域的未标记测试样本。以前的TTA方法对无监督目标进行优化，如Tent中模型预测的熵，但尚不清楚究竟是什么造成了良好的TTA损失。本文首先提出一个令人惊讶的现象：如果我们试图在一个广泛类别函数上元学习可能的最佳TTA损失，那么我们恢复的函数与Tent使用的Softmax-熵非常相似(温度缩放的版本)。然而，这只有在我们正在适应的分类器是通过交叉熵损失来训练的情况下才成立；
2024-07-09 15:46:06
1146
原创 SHARPNESS-AWARE MINIMIZATION FOR EFFICIENTLY IMPROVING GENERALIZATION--论文笔记
在当今严重过度参数化的模型中，训练损失的值很难保证模型的泛化能力。事实上，像通常所做的那样，只优化训练损失值很容易导致次优的模型质量。受损失的几何图像与泛化相结合的前人工作的启发，我们引入了一种新的、有效的同时最小化损失值和损失锐度的方法。特别是，我们的方法，锐度感知最小化(SAM)，寻找位于具有一致低损失的邻域的参数；这个公式致使一个最小值-最大值的优化问题，在该问题上可以有效地执行梯度下降。
2024-07-09 07:00:00
960
1
原创 In Search of Lost Online Test-time Adaptation: A Survey--论文笔记
本文介绍了在线测试时间适应(online test-time adaptation,OTTA)的全面调查，OTTA是一种专注于使机器学习模型适应批量到达时的新数据分布的新方法。尽管最近OTTA方法得到了广泛应用，但该领域仍陷入了诸如模糊设置、过时的主干网络和不一致的超参数调优等问题，这些问题混淆了真正的挑战，并使可重复性难以捉摸。为了清晰和严格的比较，我们将OTTA技术分为三个主要类别，并使用强大的视觉转换(ViT)主干对它们进行基准测试，以发现真正有效的策略。
2024-07-08 12:25:33
1021
1
原创 VIDA: HOMEOSTATIC VISUAL DOMAIN ADAPTER FOR CONTINUAL TEST TIME ADAPTATION--论文笔记
针对实际机器系统运行在非平稳环境中的特点，提出了连续测试时间自适应(CTTA)任务，使预先训练的模型能够适应不断变化的目标域。目前，已有的方法主要集中在基于模型的自适应，旨在利用自训练的方式来提取目标域的知识。然而，在动态数据分布下，==伪标签可能存在噪声，更新后的模型参数不可靠，导致在连续的自适应过程中误差累积和灾难性遗忘。==为了应对这些挑战并保持模型的可塑性，我们设计了一个用于CTTA的可视化领域适配器(VIDA)，显式地处理领域特定知识和领域共享知识。
2024-07-08 10:29:53
971
1
原创 Pseudo-Label : The Simple and Efficient Semi-Supervised Learning Method--论文笔记
本文提出了一种简单有效的深度神经网络半监督学习方法。基本上，所提出的网络是以有监督的方式同时使用标记数据和未标记数据来训练的。对于未标记的数据，只要选取具有最大预测概率的类别，就可以使用伪标签，就好像它们是真标签一样。这实际上等同于熵正则化。它支持类之间的低密度分离，这是半监督学习通常假设的先验条件。在MNIST手写数字数据集上，利用去噪自动编码器和丢弃，这种简单的方法在标签数据非常少的情况下优于传统的半监督学习方法。如果没时间挨个推导，至少要大概指导他讲什么。
2024-07-06 00:00:13
320
1
原创 Mean teacher are better role models-论文笔记
最近提出的Temporal Ensembling方法在几个半监督学习基准中取得了最先进的结果。它维护每个训练样本的标签预测的指数移动平均，并惩罚与该目标不一致的预测。然而，由于每个目标只改变一次，所以在学习数据量较大数据集时，Temporal Ensembling变得很笨拙。为了克服这个问题，我们提出了Mean Teacher，一种平均模型权重而不是标签预测的方法。作为一个额外的好处，Means Teacher提高了测试的准确性，并允许使用比Temporal Ensembling更少的标签进行训练。
2024-07-05 16:51:41
818
原创 Continual Test-Time Domain Adaptation--论文笔记
TTA的目的是在不使用任何源数据的情况下，将源预先训练的模型适应到目标域。现有的工作主要考虑目标域是静态的情况。然而，现实世界的机器感知系统运行在非静态和不断变化的环境中，其中目标域分布可能会随着时间的推移而变化。现有的方法大多基于自训练和熵正则化，可能会受到这些非平稳环境的影响。由于目标域中的分布随时间移动，伪标签变得不可靠。嘈杂的伪标签会进一步导致错误累积和灾难性的遗忘。为了解决这些问题，
2024-07-03 23:02:20
1024
原创 Robust Test-Time Adaptation in Dynamic Scenarios--论文阅读
测试时间自适应(TTA)旨在使预先7训练的模型适用于仅具有未标记测试数据流的测试分布。大多数以前的TTA方法已经在简单的测试数据流上取得了很大的成功，例如来自单个或多个分布的独立采样数据。然而，在自动驾驶等现实世界应用的动态场景中，这些尝试可能会失败，其中环境逐渐变化，测试数据随着时间的推移进行相关采样。在这项工作中，我们探索了这样的实际测试数据流来动态部署该模型，即实际测试时间适应(PTTA)。为此，针对PTTA中复杂的数据流，提出了一种健壮的测试时间适配(ROTTA)方法。
2024-07-03 16:57:30
937
原创 U-Net: Convolutional Networks for Biomedical Image Segmentation--论文笔记
人们普遍认为，深度网络的成功训练需要数千个带注释的训练样本。在本文中，我们提出了一种网络和训练策略，该策略依赖于数据增强的强大使用，以更有效地使用可用的注释样本。该体系结构包括捕获上下文的收缩路径和支持精确定位的对称扩展路径。我们表明，这样的网络可以从很少的图像中进行端到端训练，并且在ISBI挑战中优于先前的最佳方法(滑动窗口卷积网络)，以分割电子显微镜堆栈中的神经元结构。使用在透射光显微镜图像(相位对比和DIC)上训练的相同网络，我们在这些类别中以很大的优势赢得了2015年ISBI细胞跟踪挑战赛。
2024-06-04 13:48:09
1037
1
原创 Attention Is All You Need--论文笔记
主要的序列转导模型是基于复杂的RNN（循环神经网络）或CNN（卷积神经网络），一个编码器和一个解码器。表现最好的模型还通过注意机制连接的编码器和解码器。我们提出了一个新的简单的网络架构，Transformer，完全基于注意力机制，完全摒弃循环和卷积。在两个机器翻译任务上的实验表明，这些模型在质量上更优越，同时更具并行性，并且需要更少的训练时间。我们的模型在WMT 2014英语-德语翻译任务上实现了28.4 BLEU，比现有的最佳结果(包括集合)提高了2个BLEU以上。
2024-06-03 11:56:47
980
原创 Fully Convolutional Networks for Semantic Segmentation--论文笔记
卷积网络是强大的视觉模型，可以产生特征层次结构。我们表明，卷积网络本身，经过端到端，像素对像素的训练，在语义分割方面超过了最先进的技术。我们的关键见解是建立“完全卷积”网络，该网络可以接受任意大小的输入，并通过有效的推理和学习产生相应大小的输出。我们定义和详细描述了全卷积网络的空间，解释了它们在空间密集预测任务中的应用，并绘制了与先前模型的连接。我们将当代分类网络(AlexNet ， VGG网络和GoogLeNet)改编为全卷积网络，并通过微调将其学习到的表征转移到分割任务中。
2024-05-31 22:39:41
1161
原创 CSS--学习
层叠样式表 (Cascading Style Sheets，缩写为 CSS），是一种 样式表 语言，用来描述 HTML 文档的呈现（美化内容）。
2024-05-31 22:21:40
1227
原创 MobileNets: Efficient Convolutional Neural Networks for Mobile Vision Applications--论文笔记
我们提出了一类称为mobilenet的高效模型，用于移动和嵌入式视觉应用。MobileNets基于流线型架构，使用深度可分离卷积来构建轻量级深度神经网络。我们引入了两个简单的全局超参数，它们可以有效地在延迟和准确性之间进行权衡。这些超参数允许模型构建者根据问题的约束为其应用程序选择合适大小的模型。我们在资源和精度权衡方面进行了广泛的实验，与其他流行的ImageNet分类模型相比，我们展示了强大的性能。
2024-05-25 11:40:28
394
原创 SQUEEZENET: ALEXNET-LEVEL ACCURACY WITH 50X FEWER PARAMETERS AND ＜0.5MB MODEL SIZE--论文笔记
最近对深度卷积神经网络(cnn)的研究主要集中在提高准确性上。对于给定的精度级别，通常可以识别达到该精度级别的多个CNN架构。==在同等精度的情况下，较小的CNN架构提供了至少三个优势:(1)较小的CNN在分布式训练期间需要更少的服务器间通信。(2)较小的cnn从云端导出新模型到自动驾驶汽车所需的带宽更少。(3)较小的cnn更适合部署在fpga和其他内存有限的硬件上。==为了提供所有这些优势，我们提出了一个名为SqueezeNet的小型CNN架构。
2024-05-23 09:37:52
940
1
原创 ImageNet Classification with Deep Convolutional Neural Networks--论文笔记
模型架构网络架构如下图所示。它包含八个学习层——五个卷积层和三个全连接层。第一个卷积层是输入层，输入224×224×3图像，采用96个大小为11×11×3的卷积核，步幅为4像素进行卷积过滤，响应归一化和池化，并输出结果第二个卷积层将第一个卷积层的输出作为输入，并使用256个大小为5 × 5 × 48的卷积核对其进行卷积过滤第三层、第四层和第五层卷积层相互连接，没有任何中间池化层或归一化层。第三个卷积层有384个大小为3 × 3 × 256的核，这些核连接到第二个卷积层的输出(归一化，池化)。
2024-05-23 08:25:16
879
1
原创 VERY DEEP CONVOLUTIONAL NETWORKS FOR LARGE-SCALE IMAGE RECOGNITION--论文笔记
在这项工作中，我们研究了卷积网络深度对其在大规模图像识别设置中的准确性的影响。我们的主要贡献是使用具有非常小(3 × 3)卷积滤波器的架构对增加深度的网络进行全面评估，这表明通过将深度推至16-19权重层可以实现对现有技术配置的显着改进。这些发现是我们2014年ImageNet挑战赛提交的基础，我们的团队分别在本地化和分类轨道中获得了第一名和第二名。我们还表明，我们的表示可以很好地推广到其他数据集，从而获得最先进的结果。
2024-05-23 01:32:49
898
原创 Deep Residual Learning for Image Recognition--论文笔记
深度神经网络更难训练。我们提出了一个残差学习框架，以简化比以前使用的网络深度大得多的网络的训练。我们明确地将层重新表述为参考层输入的学习残差函数，而不是学习未参考的函数。我们提供了全面的经验证据，表明这些残差网络更容易优化，并且可以从相当大的深度中获得精度。在ImageNet数据集上，我们评估了深度高达152层的残差网络——比VGG网络深度8倍[41]，但仍然具有较低的复杂性。这些残差网络的集合在ImageNet测试集上的误差达到3.57%。该结果在ILSVRC 2015分类任务中获得第一名。
2024-05-21 17:28:14
1474
原创 TENT: FULLY TEST-TIME ADAPTATION BY ENTROPY MINIMIZATION--论文笔记
在这种完全测试时适应的情况下，模型只有测试数据和自身参数。我们建议通过测试熵最小化（tent）进行适应：我们通过预测熵来优化模型的置信度。我们的方法会估算归一化统计量，并优化通道仿射变换，以便在每个批次上进行在线更新。Tent 降低了损坏的 ImageNet 和 CIFAR-10/100 图像分类的泛化误差，并达到了最先进的误差。在从 SVHN 到 MNIST/MNIST-M/USPS 的数字识别、从 GTA 到 Cityscapes 的语义分割以及 VisDA-C 基准上，Tent 处理了无源域适应。
2024-05-21 16:16:00
896
原创 数据结构--KMP字符串--基础
背景：给定一个字符串 S，以及一个模式串 P，模式串 P 在字符串 S 中子串出现。判断模式串P是否在字符串S出现过。
2024-04-16 15:06:29
271
原创 搜索--DFS--基础
深度优先搜索算法（Depth First Search，简称DFS）：一种用于遍历或搜索树或图的算法。沿着树的深度遍历树的节点，尽可能深的搜索树的分支。当节点v的所在边都己被探寻过或者在搜寻时结点不满足条件，搜索将回溯到发现节点v的那条边的起始节点。整个进程反复进行直到所有节点都被访问为止。属于盲目搜索,最糟糕的情况算法时间复杂度为O(n!
2024-04-09 23:54:42
269
原创 大数据简介
大数据是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。
2023-06-05 11:11:45
64
原创 tensorflow简介
定义：张量是一个多维数组，有数据类型，和形状。 变量是⼀种特殊的张量，形状是不可变，但可以更改其中的参数。# tf.Variable(initializer,name) 参数initializer是初始化参数，name是可自定义的变量名称tf.keras是TensorFlow 2.0的⾼阶API接⼝，为TensorFlow的代码提供了新的⻛格和设计模式，⼤⼤提升了TF代码的简洁性和复⽤性，官⽅也推荐使⽤tf.keras来进⾏模型设计和开发。
2023-05-10 01:18:29
168
原创 json学习（pythonj)
(JavaScript Object Notation) 是一种轻量级的数据交换格式，它是JavaScript的子集，易于人阅读和编写。
2023-04-29 17:00:05
85
1
空空如也
论文复现__DLTTA：跨域医学图像测试时间自适应的动态学习率
2024-04-07
谁能教我这道题没看懂
2021-09-28
TA创建的收藏夹 TA关注的收藏夹
TA关注的人