&peerless-CSDN博客

原创 Unified Single-Stage Transformer Network for Efficient RGB-T Tracking

现有的RGB-T跟踪网络大多以单独的方式提取模态特征，缺乏模态之间的交互和相互指导。这限制了网络适应目标的多种双模态外观以及模态之间的动态关系的能力。此外，这些网络遵循的三阶段融合跟踪范式极大地限制了跟踪速度。为了克服这些问题，我们提出了一个统一的单级 Transformer RGB-T 跟踪网络，即 USTrack，它通过自注意力机制将上述三个阶段统一为具有双嵌入层的单个 ViT（Vision Transformer）主干。通过这种结构，网络可以在模态交互作用下提取模板和搜索区域的融合特征。

2024-03-01 16:46:23 1225 1

原创 RGBT Tracking via Progressive Fusion Transformerwith Dynamically Guided Learning

现有的基于 Transformer 的 RGBT 跟踪方法要么使用交叉注意力来融合两种模态，要么使用自注意力和交叉注意力来对模态特定信息和模态共享信息进行建模。然而，模态之间显着的外观差距限制了融合过程中某些模态的特征表示能力。为了解决这个问题，我们提出了一种名为 ProFormer 的新型渐进式融合变压器，它逐步将单模态信息集成到多模态表示中，以实现鲁棒的 RGBT 跟踪。特别是，ProFormer首先使用自注意力模块来协作提取多模态表示，然后使用两个交叉注意力模块分别将其与双模态的特征进行交互。

2024-03-01 16:06:28 1088 2

原创 Bridging Search Region Interaction with Template for RGB-T Tracking

RGB-T跟踪旨在利用RGB和TIR模态的相互增强和补充能力来改进各种场景下的跟踪过程，其中跨模态交互是关键组成部分。之前的一些方法直接连接 RGB 和 TIR 搜索区域特征以执行引入冗余背景噪声的粗略交互过程。许多其他方法从搜索帧中采样候选框，并对孤立的 RGB 和 TIR 框对进行各种融合方法，这限制了局部区域内的跨模态交互，并导致上下文建模不充分。

2024-03-01 15:14:23 1455

原创 Joint Feature Learning and Relation Modelingfor Tracking: A One-Stream Framework

具体来说，我们将展平的模板和搜索区域连接起来，并将它们输入到质押的自注意力层中[44]（在我们的实现中选择了广泛使用的视觉变换器（ViT）[12]），并且生成的搜索区域特征可以直接使用用于目标分类和回归，无需进一步匹配。此外，所提出的框架在性能和速度 AO Score 之间实现了良好的平衡，因为模板和搜索区域的串联使得 onestream 框架高度可并行化，并且不需要额外的重型关系建模网络。(3) 我们进行了全面的实验，验证单流框架在性能、推理速度和收敛速度方面优于之前的 SOTA 双流跟踪器。

2024-02-29 16:50:50 213

原创 Generative-based Fusion Mechanism forMulti-Modal Tracking

然而，尽管近年来出现了多个多模态数据集 [4]、[12]、[15]，其中包含在不到 1000 个场景中捕获的约 1000 个视频，但与广泛使用的数据集相比，仍然存在显着的多样性差距训练 GM，例如 CelebA[16]。然而，尽管近年来出现了多个多模态数据集 [4]、[12]、[15]，其中包含在不到 1000 个场景中捕获的约 1000 个视频，但与广泛使用的数据集相比，仍然存在显着的多样性差距训练 GM，例如 CelebA[16]。我们探索以生成方法解决多模式跟踪的信息融合部分的潜力。

2024-02-29 14:47:39 287

原创 FuzzGAN: A Generation-Based Fuzzing Frameworkfor Testing Deep Neural Networks

深度神经网络(dnn)在各个领域的应用越来越广泛。尽管dnn取得了惊人的进步，但众所周知，dnn存在敌对性漏洞。然后，dnn的鲁棒性受到威胁，因为它会导致带有意外输入(敌对例子)的错误分类。常用来测试传统软件的模糊技术最近被用来评估dnn的鲁棒性。目前的DNN模糊技术主要关注图像分类DNN，并通过图像变换和对抗扰动等突变生成测试用例。然而，基于突变的测试用例往往缺乏多样性，且与原始DNN输入空间存在分布偏差，影响对DNN的评价。

2023-10-21 11:21:03 206 1

原创 QuoTe: Quality-oriented Testing for Deep Learning Systems

一个流行的方向是深度学习测试——也就是说，给定测试的属性，通过模糊测试或借助某些测试指标的引导搜索来发现深度学习系统的缺陷。然而，最近的研究表明，大多数现有的DL测试方法通常使用的神经元覆盖度量并不一定与模型质量相关(例如，最常被研究的模型属性是鲁棒性)，并且也不是测试后对模型质量的置信度的有效度量。在这项工作中，我们通过提出一种名为 QuoTe（即面向质量的测试）的新颖测试框架来解决这一差距。

2023-10-08 20:17:28 78 1

原创 RobOT: Robustness-Oriented Testing for DeepLearning Systems

DL系统的对抗例子(又称bug)可以通过模糊或在某些测试指标的帮助下进行引导搜索来发现。然而，最近的研究表明，现有DL测试方法常用的神经元覆盖度量与模型鲁棒性无关。这也不是检验后对模型鲁棒性置信度的有效度量。作者提出了一种新的测试框架，称为面向鲁棒性测试(robust - oriented testing, RobOT)，以弥补这一缺陷。RobOT的一个关键部分是定量衡量1)每个测试用例在提高模型鲁棒性方面的价值(通常是通过再训练)，2)模型鲁棒性提高的收敛质量。

2023-10-08 17:14:28 122 1

原创意外充分性引导的深度神经网络测试样本生成

由于深度神经网络（deep neural network, DNN）模型的复杂性和不确定性等属性，对模型的一般行为和边界行为进行充分的测试是保障模型质量的重要手段.当前的研究主要基于制定的覆盖准则，结合模糊测试技术生成衍生测试样本，从而提升测试充分性，但较少综合考虑测试样本的多样性及个体揭错能力.意外充分性指标量化测试样本与训练集在神经元输出方面的差异，是测试充分性评估的重要指标，目前缺乏基于此指标的测试样本生成方法.因此，提出了一种意外充分性引导的深度神经网络测试样本生成方法，

2023-10-03 17:03:09 182 1

原创面向深度学习系统的模糊测试技术研究进展（2021）

由于数据集的限制以及依赖人工标签数据, 深度学习系统易于出现非预期的行为。由于模糊测试具有较强的故障揭示能力, 运用模糊测试技术对深度学习系统进行测试成为研究热点。从测试用例生成 (包括种子队列构建、种子选择和种子变异)、测试结果判定、覆盖分析 3个方面对已有的深度学习系统的模糊测试技术进行总结, 并介绍常用的数据集以及度量指标, 最后对其发展方向进行展望。符号执行：困难(1) 深度学习模型通常没有分支;(2) 深度学习系统的非线性程度普遍较高, 难以找到合适的约束求解器;

2023-09-27 17:34:16 263 1

原创 DeepPatch：维护深度学习模型程序以保持标准精度并大幅提高鲁棒性（2023）

DeepPatch: Maintaining Deep Learning Model Programs to Retain Standard Accuracy with Substantial Robustness Improvement

2023-09-26 15:19:24 140

原创 Can we learn better with hard samples?

在STL-10上，我们证明了所提出的方法比传统的高效网络b4中的小批量方法少了26.47%的时间周期。我们的研究结果表明，δ值的选择应该根据网络架构、小批量和数据集的数量谨慎地进行平衡，以实现更快的收敛和可观的性能。一个众所周知的解决方案是增加网络的深度，从而提高网络的泛化和学习更精细、更复杂的潜在表示的能力。从数据中的硬样本中学习是必要的，因为它可以提高训练后的网络的性能。反向传播算法是训练神经网络的首选方法。这种方法背后的直觉是:在准备考试时，学生倾向于花更多的时间在困难的概念上，而不是简单的概念。

2023-09-24 21:17:11 42 1

原创 Generalist: Decoupling Natural and Robust Generalization

摘要：通过标准训练得到的深度神经网络一直受到对抗性例子的困扰。大量的实验验证了Generalist算法的适用性，在对自然例子保持较高的准确性的同时，对对抗例子保持相当的鲁棒性。尽管取得了这些成功，这种对抗性训练的尝试在自然精度和鲁棒精度之间找到了一种折衷，也就是说，当最坏情况下的受扰图像的误差减小时，未受扰图像的误差会出现不希望出现的增加，如图1所示。然而，以下的研究发现，这种权衡可以通过一种迂回的方式来解决，例如合并额外的标记/未标记数据，或放松扰动的幅度，生成合适的对抗例子，以获得更好的优化。

2023-09-24 16:39:29 78 1

peer_hellojio的博客