TPAMI 2024 | SMART: 基于语法校准的多方面关系Transformer用于变化描述生成

最新推荐文章于 2024-10-15 13:20:57 发布
最新推荐文章于 2024-10-15 13:20:57 发布
阅读量218 收藏
点赞数 7
分类专栏： 论文解读 IEEE TPAMI 文章标签： transformer 深度学习 人工智能 顶刊论文 论文解读 TPAMI IEEE
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_42722197/article/details/141611148
版权

题目：SMART: Syntax-Calibrated Multi-Aspect Relation Transformer for Change Captioning

SMART: 基于语法校准的多方面关系Transformer用于变化描述生成

作者：Yunbin Tu; Liang Li; Li Su; Zheng-Jun Zha; Qingming Huang

摘要

变化描述生成旨在描述两幅相似图像之间的语义变化。在这个过程中，视点变化作为最典型的干扰因素，会导致物体的外观和位置发生伪变化，从而掩盖了真实变化。此外，由于变化的视觉信号通常出现在弱特征的局部区域，模型难以直接将所学的变化特征转化为句子。在本文中，我们提出了一种基于语法校准的多方面关系Transformer，用于在不同场景下学习有效的变化特征，并在生成描述时建立变化特征与语言词汇之间的可靠跨模态对齐。具体来说，我们设计了一个多方面关系学习网络，来：1）通过将语义和相对位置的关系嵌入到每幅图像的特征中，探索在无关干扰（例如视点变化）下的细粒度变化；2ÿ

了解本专栏 订阅专栏 解锁全文
小白学视觉
关注
专栏目录
订阅专栏
TPAMI 2024 | P2T：用于场景理解的金字塔池化Transformer
小白学视觉
08-19 611
最近，视觉Transformer通过推动各种视觉任务的最前沿取得了巨大成功。视觉Transformer面临的最大挑战之一是图像标记的大序列长度导致高计算成本（二次复杂度）。解决这个问题的一个流行方法是使用单个池化操作来减少序列长度。本文考虑了如何改进现有的视觉Transformer，其中通过单个池化操作提取的池化特征似乎不够强大。为此，我们注意到金字塔池化由于其在上下文抽象方面的强能力，在各种视觉任务中已被证明是有效的。然而，金字塔池化尚未在主干网络设计中被探索。
TPAMI 2024| BadLabel：评估与增强标签噪声学习的一种鲁棒视角
小白学视觉
07-15 693
标签噪声学习（Label-noise learning, LNL）旨在提高模型在训练数据带有噪声标签的情况下的泛化能力。为了促进实用的LNL算法的发展，研究人员提出了不同类型的标签噪声，从类条件噪声到实例依赖噪声不等。在本文中，我们引入了一种新型的标签噪声类型，称为BadLabel，它可以通过大幅度降低现有LNL算法的性能来显著影响它们。BadLabel是基于标准分类的标签翻转攻击精心设计的，其中选择特定样本并将它们的标签翻转为其他标签，以便干净标签和噪声标签的损失值无法区分。
【Transformer】Syntax-augmented Multilingual BERT for Cross-lingual Transfer 阅读笔记
Vincy_King
08-12 600
近年来，我们发现，通过使用许多语言的大型语料库来预训练多语言文本编码器来促进跨语言迁移学习。然而，由于不同语言的类型差异，跨语言迁移具有挑战性。然而，语言语法，例如语法依赖性，可以弥合类型上的差距。之前的研究表明，预先训练过的多语言编码器，如mBERT，可以捕获语言语法，帮助跨语言迁移。这项工作表明，显式地提供语言语法和使用一个辅助目标来编码通用依赖树结构来训练mBERT，有助于跨语言迁移。作者对四个NLP任务进行了严格的实验，包括文本分类、问答、命名实体识别和面向任务的语义解析。实验结果表明，语法增强的m
TPAMI 2024 | CrossFormer++: 基于跨尺度注意力的多功能视觉Transformer
小白学视觉
07-05 1369
虽然不同尺度的特征在视觉输入中具有感知重要性，但现有的视觉Transformer尚未显式利用这些特征。为此，我们首先提出了一种跨尺度视觉Transformer，即CrossFormer。它引入了跨尺度嵌入层（CEL）和长短距离注意力（LSDA）。一方面，CEL将每个标记与不同尺度的多个补丁混合，为自注意力模块本身提供跨尺度特征。另一方面，LSDA将自注意力模块分为短距离和长距离部分，这不仅减少了计算负担，还保留了标记中的小尺度和大尺度特征。
TPAMI 2024 | Diversify：一种时间序列分布外检测和泛化的通用框架
小白学视觉
07-29 1169
题目：Diversify: A General Framework for Time Series Out-of-Distribution Detection and Generalization Diversify：一种时间序列分布外检测和泛化的通用框架 作者：W. Lu; J. Wang; X. Sun; Y. Chen; X. Ji; Q. Yang; X. Xie 摘要 时间序列仍然是机器学习研究中最具挑战性的模态之一。时间序列的分布外（OOD）检测和泛化常常由于其非平稳性质而面临困难，即分布随时
TPAMI 2024 | 人体运动生成：一项综述研究
小白学视觉
07-31 1004
人类动作生成旨在生成自然的人姿势序列，并展示出对现实世界应用的巨大潜力。近年来，在运动数据收集技术和生成方法方面取得了实质性进展，为人类动作生成日益增长的兴趣奠定了基础。该领域的大多数研究侧重于基于条件信号生成人类动作，例如文本、音频和场景上下文。尽管近年来取得了显著进展，但由于人类动作的复杂性质及其与条件信号的隐式关系，该任务仍然面临挑战。在这篇综述中，我们提供了人类动作生成的综合文献回顾，据我们所知，这是该领域首次此类综述。
TPAMI 2024｜DeepM2CDL：基于层级式多尺度卷积字典的多模态图像修复与融合网络
OpenCV中文网
06-06 450
关注公众号，发现CV技术之美本文为粉丝投稿，原文链接：https://zhuanlan.zhihu.com/p/701844704。本文介绍了北京航空航天大学徐迈教授课题组最新发表于IEEE Transactions on Pattern Analysis and Machine Intelligence (TPAMI 2024)上的工作“DeepM2CDL: Deep Multi-scale M...
TPAMI 2024 | 正则化损失与超参数估计在弱监督单类分割中的应用
小白学视觉
07-18 1050
Regularized Loss With Hyperparameter Estimation for Weakly Supervised Single Class Segmentation 正则化损失与超参数估计在弱监督单类分割中的应用 作者：Zongliang Ji; Olga Veksler 摘要 我们提出了一种新的图像级弱监督分割方法，适用于只含有单一感兴趣对象类别的数据集。我们的方法基于经典条件随机场（CRF）建模启发的正则化损失函数。我们的损失模型了通用对象的属性，并用它引导CNN朝向更可能对
TPAMI 2024|用于持续学习的基于广义差异的分布稳健记忆演化
小白学视觉
08-31 4072
Distributionally Robust Memory Evolution With Generalized Divergence for Continual Learning 用于持续学习的基于广义差异的分布稳健记忆演化 Zhenyi Wang o, Li Shen , Tiehang Duan , Qiuling Suo o, Le Fang , Wei Liu ，Mingchen Gao 摘要 持续学习（Continual Learning, CL）的目标是在非静态数据分布上学习，同时不忘记先
TPAMI 2024 | MotionDiffuse：基于文本驱动的人体运动生成扩散模型
小白学视觉
07-21 200
人类动作建模是许多现代图形应用的重要组成部分，通常需要专业技能。为了消除普通人的专业技能障碍，最近的动作生成方法可以直接根据自然语言生成人体动作。然而，使用各种文本输入实现多样化和细粒度动作生成仍然具有挑战性。为了解决这个问题，我们提出了MotionDiffuse，这是最早的基于扩散模型的文本驱动动作生成框架之一，它展示了相对于现有方法的几个理想属性。1) 概率映射。与确定性的语言-动作映射不同，MotionDiffuse通过一系列去噪步骤生成动作，在这些步骤中注入变化。2) 现实合成。
TPAMI 2024 | PathNet: 基于路径选择的点云去噪
小白学视觉
07-29 647
当前的点云去噪(PCD)模型优化单一网络，试图使其参数适应于大量点云池中的每个点。这种去噪网络范式忽略了不同点通常受到不同程度的噪声干扰，并且它们可能传达不同的几何结构。因此，噪声和几何的复杂性带来了包括残留噪声、错误平滑的边缘和去噪后形状扭曲等副作用。我们提出了PathNet，一种基于强化学习(RL)的路径选择性PCD范式。与现有工作不同，PathNet能够动态选择每个点最合适的去噪路径，最佳地将其移动到其底层表面上。除了首次提出路径选择性PCD框架外，我们还有另外两个贡献。
TPAMI 2024 | MixFormer: 基于迭代混合注意力的端到端跟踪
小白学视觉
07-02 446
视觉目标跟踪通常采用多阶段流水线，包括特征提取、目标信息集成和边界框估计。为了简化这一流程并统一特征提取和目标信息集成的过程，本文提出了一种紧凑的跟踪框架，称为 MixFormer，基于 transformers 构建。我们的核心设计是利用注意力操作的灵活性，提出了一种混合注意力模块（MAM），用于同时进行特征提取和目标信息集成。这种同步建模方案使我们能够提取目标特定的判别特征，并在目标和搜索区域之间进行广泛的通信。
TPAMI 2024 | SMPLer: 驾驭Transformer 用于单目 3D 人体形状和姿态估计
小白学视觉
06-08 149
作者：Xiangyu Xu; Lijuan Liu; Shuicheng Yan神经辐射场（NeRF）在新视图合成方面表现出了巨大的成功。然而，由于潜在的校准信息不完善和场景表示不准确，现有的基于 NeRF 的方法在从现实世界场景中恢复高质量细节方面仍然面临挑战。即使使用高质量的训练帧，NeRF 模型生成的合成新视图仍然存在明显的渲染伪影，如噪声和模糊。为了解决这个问题，我们提出了 NeRFLiX，一种学习降解驱动的视点间混合器的通用 NeRF-无关恢复范式。特别地，我们设计了一种 NeRF 样式的降解建模
从RNN讲起(RNN、LSTM、GRU、BiGRU)——序列数据处理网络
薛定谔的猫的博客
10-12 914
循环神经网络是一类用于处理序列数据的神经网络，它一般以序列数据作为输入，通过网络内部的结构设计有效地捕捉序列之间的关系，以序列的形式输出。与传统的前馈神经网络不同，RNN具有"记忆"能力，通过在网络中引入循环连接，使得其可以利用先前的输入信息来影响当前的输出。这使得RNN非常适合处理具有时间依赖性或顺序性的任务。长短期记忆网络（LSTM, Long Short-Term Memory）是一种特殊的循环神经网络RNN，设计用来解决传统RNN在处理长序列数据时遇到的梯度消失和梯度爆炸问题。
【交通标志识别系统】Python+卷积神经网络算法+人工智能+深度学习+机器学习+算法模型
子午的博客
10-12 866
交通标志识别系统。本系统使用Python作为主要编程语言，在交通标志图像识别功能实现中，基于TensorFlow搭建卷积神经网络算法模型，通过对收集到的58种常见的交通标志图像作为数据集，进行迭代训练最后得到一个识别精度较高的模型文件，然后保存为本地的h5格式文件。再使用Django开发Web网页端操作界面，实现用户上传一张交通标志图片，识别其名称。在本项目中，开发了一个基于人工智能的交通标志识别系统，旨在利用深度学习技术对常见的交通标志进行高效、准确的识别。
Text2Video Huggingface Pipeline 文生视频接口和文生视频论文API
rockingdingo的博客
10-12 917
文生视频是AI领域热点，国内外有非常多的优秀产品如Runway AI、Pika AI、可灵King AI、通义千问、智谱的文生视频模型等等。很多文生视频的大模型都是基于Huggingface的 diffusers的python包来开发。为了方便调用，也尝试了使用 PyPI的text2video的python库的Wrapper类进行调用，下面会给大家介绍一下Huggingface Text to Video Pipeline的调用方式 以及使用通用的text2video的python库调用方式。
深度学习-22-基于keras的十大经典算法之深度神经网络DNN
qq_20466211的博客
10-12 332
深度神经网络的基本结构介绍，同时分别基于模拟数据集和鸢尾花数据集，对模型进行了训练和预测。
【动物识别系统】Python+卷积神经网络算法+人工智能+深度学习+机器学习+计算机课设项目+Django网页界面
子午的博客
10-12 829
动物识别系统。本项目以Python作为主要编程语言，并基于TensorFlow搭建ResNet50卷积神经网络算法模型，通过收集4种常见的动物图像数据集（猫、狗、鸡、马）然后进行模型训练，得到一个识别精度较高的模型文件，然后保存为本地格式的H5格式文件。再基于Django开发Web网页端操作界面，实现用户上传一张动物图片，识别其名称。
【深度学习】RNN实战
最新发布
言兼小师傅的博客
10-15 425
【代码】【深度学习】RNN实战。
深度学习驱动的多模态人类动作识别：TPAMI 2022 年综述
作者们分析了各种策略，包括但不限于模态选择、模态融合方法、数据预处理技术以及深度学习模型的设计，如3D CNNs用于处理视频中的动作序列，或者利用Transformer架构来捕获时间序列数据中的依赖关系。此外，他们还...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

小白学视觉

您的赞赏是我们坚持下去的动力~

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值