TPAMI 2025 | 基于图循环网络的文本理解预训练

最新推荐文章于 2025-06-03 23:06:44 发布
最新推荐文章于 2025-06-03 23:06:44 发布
阅读量15 收藏
点赞数
分类专栏： 论文解读 IEEE TPAMI 文章标签： IEEE TPAMI 深度学习 顶刊论文 论文解读
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_42722197/article/details/148130027
版权

论文信息

题目：Pre-Training a Graph Recurrent Network for Text Understanding
中文题目：基于图循环网络的文本理解预训练
作者：Yile Wang, Linyi Yang, Zhiyang Teng, Ming Zhou, Yue Zhang

论文创新点

  1. 提出全新架构：论文提出基于图循环网络（GRN）的模型架构，创新性地将每个句子构建为具有局部令牌级通信的图结构，并配有独立于其他普通令牌的句子级表示，从而避免使用Transformer架构中的自注意力机制，使模型具备线性时间复杂度。
  2. 设计独特节点更新机制：在编码层，该模型严格遵循S-LSTM的节点通信方式，使用子词和位置嵌入，并添加层归一化。在更新节点状态时，通过类似LSTM的门控机制，并行更新令牌节点和句子节点的状态，使得模型在处理句子时能实现并行计算，
了解本专栏 订阅专栏 解锁全文
TPAMI 2025 |通过以对象为中心的体素化和神经渲染实现动态场景理解
小白学视觉
05-16 151
从无监督视频中学习以对象为中心的表示具有挑战性。与以往大多数专注于分解二维图像的方法不同，作者提出了一种名为DynaVol-S的三维生成模型，用于动态场景，该模型能够在可微体渲染框架内实现以对象为中心的学习。其核心思想是执行以对象为中心的体素化，以捕捉场景的三维特性，从而推断各个空间位置上每个对象的占用概率。这些体素特征通过规范空间变形函数进行演化，并在具有组合神经辐射场（Neural Radiance Field, NeRF）的逆向渲染管道中进行优化。
TPAMI 2024 | 从预训练模型进行多标签条件生成
小白学视觉
10-11 116
Multi-Label Conditional Generation From Pre-Trained Models 题目：从预训练模型进行多标签条件生成 作者：Magdalena Proszewska; Maciej Wołczyk; Maciej Zieba; Patryk Wielopolski; Łukasz Maziarka; Marek Śmieja 摘要 尽管现代生成模型在多种任务中取得了卓越的质量，但它们通常缺乏生成具有特定属性的示例的基本能力，例如照片中人物的年龄或生成分子的重量。为了克
TPAMI 2025 | 一器多用：基于单一样式生成对抗网络实现通用领域转换
小白学视觉
04-01 332
本文中，作者提出了一种新颖的翻译模型UniTranslator，用于在训练数据有限且视觉差异显著的条件下，实现视觉上不同领域之间的表征转换。该方法的核心思想是利用CLIP（对比语言 - 图像预训练模型）的领域中立能力作为桥梁机制，同时使用一个单独的模块从源领域和目标领域的嵌入中提取抽象的、与领域无关的语义。将这些抽象语义与特定目标的语义融合，从而在CLIP空间中得到转换后的嵌入。为了弥合CLIP和StyleGAN两个不同世界之间的差距，作者引入了一种新的非线性映射器CLIP2P映射器。
TPAMI 2025 | 通过多模态对齐概念知识实现无配对图像-文本匹配
小白学视觉
03-22 61
近年来，多模态预训练模型在图像-文本匹配任务中的准确性得到了显著提升，这些模型都使用了数百万或数十亿对配对的图像和文本来进行监督学习。与这些方法不同，人类大脑能够利用存储的多模态知识很好地匹配图像和文本。受此启发，本文研究了一种新的场景，即无配对图像-文本匹配，在该场景中，模型学习过程中假设没有配对的图像和文本可用。为了解决这一问题，作者提出了一种简单而有效的方法，称为多模态对齐概念知识（Multimodal Aligned Conceptual Knowledge, MACK）。
TPAMI 2025 | 用于弱监督点云语义分割的数量 - 质量增强自训练网络
小白学视觉
03-28 174
点云语义分割对于理解3D场景至关重要。当前的技术通常需要大量带注释的训练数据，然而为点云获取逐点注释既耗时又费力。最近，弱监督方法的发展试图通过使用有限的注释生成伪标签来缓解这一问题。然而，这些伪标签常常存在数量不足或质量欠佳的情况。为了克服这些障碍，作者提出了一种用于弱监督点云语义分割的数量 - 质量增强自训练网络（Q2E）。具体而言，作者提出了一种图像辅助伪标签生成器，利用2D图像为点云扩展伪标签。此外，作者开发了一种分层伪标签优化器，通过将伪标签分层分组为更宽泛的类别来提升其质量。
TPAMI 2025 | 自监督多模态学习：综述
小白学视觉
03-20 140
近年来，多模态学习在监督学习领域取得了显著进展，旨在理解和分析来自多种模态的信息。然而，对标注数据的高度依赖以及昂贵的人工标注成本阻碍了模型的扩展。与此同时，由于野外存在大量未标注数据，自监督学习成为缓解标注瓶颈的有吸引力的策略。基于这两个方向，自监督多模态学习（SSML）提供了一种从原始多模态数据中学习的方法。
TPAMI 2024 | 人体运动生成：一项综述研究
小白学视觉
07-31 1458
人类动作生成旨在生成自然的人姿势序列，并展示出对现实世界应用的巨大潜力。近年来，在运动数据收集技术和生成方法方面取得了实质性进展，为人类动作生成日益增长的兴趣奠定了基础。该领域的大多数研究侧重于基于条件信号生成人类动作，例如文本、音频和场景上下文。尽管近年来取得了显著进展，但由于人类动作的复杂性质及其与条件信号的隐式关系，该任务仍然面临挑战。在这篇综述中，我们提供了人类动作生成的综合文献回顾，据我们所知，这是该领域首次此类综述。
TPAMI 2025 | 学习高质量动态记忆用于视频对象分割
小白学视觉
04-08 33
最近，一些基于时空记忆的方法已经证实，将带有掩码的中间帧存储为记忆有助于分割视频中的目标对象。然而，这些方法主要侧重于当前帧与记忆帧之间更好的匹配，却没有关注记忆的质量。因此，可能会存储分割掩码质量较差的帧，从而导致误差累积问题。此外，随着帧数的增加，记忆帧数量的线性增长限制了模型处理长视频的能力。为此，作者提出了一种质量感知动态记忆网络（QDMN），用于评估每一帧的分割质量，使记忆库能够有选择地存储分割准确的帧，防止误差累积。
TPAMI 2024 | 基于Transformer的强化学习：发展轨迹
小白学视觉
03-01 116
Transformer最初是为自然语言处理（NLP）设计的，后来在计算机视觉（CV）领域也取得了显著的成功。由于其强大的表达能力，研究人员正在探索如何将Transformer应用于强化学习（RL），并且基于Transformer的模型在代表性的RL基准测试中已经展现了其潜力。本文收集并剖析了近年来关于将Transformer应用于RL（基于Transformer的RL，TRL）的进展，以探索该领域的发展轨迹和未来趋势。
Python实现P-PSO优化算法优化循环神经网络LSTM分类模型项目实战
张陈亚的博客
05-31 927
【摘要】本项目提出一种基于改进粒子群算法(P-PSO)优化LSTM神经网络的分类模型。针对传统LSTM训练中易陷入局部最优等问题，采用带压缩因子的PSO算法优化网络初始参数，提升模型性能。实验使用包含10个特征和2000条样本的数据集，经过数据预处理和探索性分析后，构建P-PSO-LSTM模型。结果表明，优化后的模型在测试集上准确率达95%，F1分数为0.9533，显著优于基准模型。该方法有效解决了LSTM训练过程中的参数敏感问题，为序列分类任务提供了可靠解决方案。完整数据和代码可通过文末方式获取。
深度学习教学目录
FJN110的博客
05-30 653
深度学习课程：面向计算机视觉、深度学习小白，本产品包含但不限于以下文档 一、环境配置详解，全平台支持 提供Windows、Linux、树莓派、瑞芯微板（RK）等多平台下的PyTorch与TensorFlow环境配置教程，图文并茂，细致入微，确保每一位学习者都能顺利完成环境搭建。 同时，文档中还详细讲解了服务器部署、AI大模型运行、Docker容器配置、VNC远程连接等高级内容，适用于科研和生产环境。
【专题】深度学习期末复习资料（题库）
Pqf18064375973的博客
05-30 484
深度学习期末复习资料（题库）
正则化-深度学习
FJN110的博客
05-30 147
正则化参数（通常记作 λ\lambdaλ 或 α\alphaα）在机器学习中的作用是通过控制模型的复杂度来防止过拟合。
基于多尺度卷积和扩张卷积-LSTM的多变量时间序列预测
专注AI大模型,软件混淆,授权
05-29 180
本文提出了一种结合多尺度卷积、扩张卷积和LSTM的混合神经网络模型，用于多变量时间序列预测。该模型通过多尺度卷积捕获不同时间尺度的局部特征，利用扩张卷积扩大感受野捕捉长期依赖，并借助LSTM处理序列数据的时序关系。文章详细介绍了模型架构、关键技术原理，并提供了完整的PyTorch实现代码，包括数据预处理、模型定义、训练过程和评估方法。实验结果表明，该模型能有效提取时空特征，在金融、气象、交通等领域具有广泛应用前景。代码实现完整且注释详尽，便于读者理解和使用。
Python----循环神经网络（BiLSTM：双向长短时记忆网络）
最新发布
weixin_64110589的博客
06-03 1092
LSTM（长短期记忆网络）是一种改进的循环神经网络，通过遗忘门、输入门和输出门控制信息流动，有效处理长序列数据，适用于时间序列预测和语音识别等任务。BiLSTM（双向长短期记忆网络）在LSTM基础上增加反向处理层，同时捕捉过去和未来的上下文信息，增强对全局上下文的理解，适用于自然语言处理任务如机器翻译和命名实体识别。BiLSTM通过前向和后向LSTM处理序列，最终结合两个方向的输出，计算成本较高但效果更优。LSTM和BiLSTM在方向性、计算复杂度和典型应用上有所不同，BiLSTM在捕捉上下文信息和处理长距
基于CNN的OFDM-IM信号检测系统设计与实现
huanghm88的专栏
05-30 311
基于CNN的OFDM-IM信号检测系统摘要 本文提出了一种基于卷积神经网络(CNN)的正交频分复用索引调制(OFDM-IM)信号检测方法。通过构建包含多层卷积、批归一化和ReLU激活的CNN模型，实现了对OFDM-IM信号的端到端检测。系统采用双通道输入处理信号的实部和虚部，并在不同信噪比(SNR)条件下进行性能评估。实验结果表明，CNN检测器在AWGN和瑞利衰落信道中均能有效工作，其误码率性能接近传统ML检测器，同时显著降低了计算复杂度。该方法为5G及未来无线通信系统提供了一种高效可靠的信号检测解决方案。
【深度学习新浪潮】什么是混合精度分解？
agito_cheung的博客
05-29 144
混合精度分解通过“分解-量化-协同”的技术路径，在大模型压缩中实现了精度与效率的双赢。其核心优势在于按需分配精度资源，既避免了全低精度量化的性能损失，又突破了全高精度的资源限制。随着硬件支持的完善（如FP8、INT4 Tensor Core）和算法优化的深入，混合精度分解有望成为大模型端侧部署的标配技术，推动人工智能从云到端的全面普及。
强化学习-深度学习和强化学习领域
高效匠人
06-02 597
摘要： SFT（监督式微调）和GRPO（梯度策略优化）是深度学习中两种不同的训练方法。SFT依赖标注数据，简单高效但泛化能力有限，适用于规则明确的任务（如内容过滤）。GRPO通过强化学习优化策略，能动态适应复杂目标（如反欺诈），但训练不稳定且成本高。两者核心差异在于数据需求、灵活性和计算成本。实际应用中，SFT适合快速部署静态任务，GRPO适用于动态风险场景，混合方案（如SFT+GRPO）能结合优势。总结：SFT提供基础保障，GRPO实现精细优化，互补性显著。
SCNN(Spatial CNN) 模型学习记录
kiki5862的博客
05-29 1026
SCNN是一种专为车道线检测设计的神经网络架构，通过在特征图的空间维度上进行四方向（上下左右）信息传播，有效捕捉车道线的长距离空间依赖关系。其核心模块将特征图沿不同方向拆分为切片，通过类似RNN的逐行/列传播机制，结合1D卷积和残差连接增强空间上下文建模能力。相比传统CNN的局部感受野，SCNN在保持特征图形状不变的前提下显著提升了细长、连续目标的检测性能，尤其适用于交通场景中的车道线识别任务。该方法已应用于多项实际工程并在相关竞赛中取得优异表现。
顶刊TPAMI 2025
04-23
### TPAMI 2025 年论文趋势与领域发展 #### 跨模态学习的趋势 随着跨模态技术的发展，TPAMI 2025 的研究可能更加关注语言和视觉之间的深层次交互。例如，在少样本类增量学习中，利用语言引导的关系迁移（Language-guided Relation Transfer, LRT），能够有效提升模型在新类别上的泛化能力[^3]。这种技术不仅依赖于传统的视觉特征提取，还引入了文本语义信息，使得模型能够在少量标注数据的情况下快速适应新的任务。 #### 增量学习中的知识迁移 在增量学习方面，TPAMI 2025 可能进一步探索如何通过知识迁移减少灾难性遗忘的影响。具体而言，基于图结构的知识表示模块 \(M_{\text{graph}}\) 已经展现出显著的优势，其增量准确率可达到 39.32%[^3]。未来的研究可能会更深入地探讨如何设计高效的图神经网络架构，以便更好地捕捉不同类别间的复杂关系，并将其应用于动态环境下的连续学习场景。 #### 领域自适应与风格化学习 对于领域自适应问题，TPAMI 2025 或将继续推进风格化学习的方法论创新。当前已有研究表明，通过模拟过去领域的输入分布，可以在一定程度上缓解领域级别的灾难性遗忘[^1]。此外，为了应对未见过的新领域，预测器需要具备更强的泛化能力，而这通常可以通过增加训练过程中遇到的数据多样性来实现。预计未来的算法将进一步优化这一过程，使模型不仅能处理已知领域的变化，还能高效扩展至未知领域。 #### 视觉原型的作用机制 关于视觉原型的应用，现有工作已经证明它们可以作为调整特征的重要上下文信息[^2]。在未来的工作中，研究人员或许会尝试构建更为灵活的视觉原型更新策略，允许在不破坏原有知识的前提下逐步融入新增加的信息。这种方法有望为解决长期存在的类别级灾难性遗忘提供一种全新的思路。 ```python import torch.nn as nn class VisualPrototypeModule(nn.Module): def __init__(self, num_classes, feature_dim): super().__init__() self.prototype = nn.Parameter(torch.randn(num_classes, feature_dim)) def forward(self, features): prototypes = self.prototype.unsqueeze(0).expand(features.size(0), -1, -1) return torch.cat([features, prototypes], dim=-1) ``` 此代码片段展示了一个简单的视觉原型模块的设计方式，它可以直接嵌入到现有的深度学习框架中用于增强特征表达。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

小白学视觉

您的赞赏是我们坚持下去的动力~

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值