TPAMI 2024 | GALA：基于图扩散的对齐与拼图的无源域适应

于 2025-05-02 10:07:31 发布
阅读量7 收藏
点赞数
分类专栏： 论文解读 IEEE TPAMI 文章标签： IEEE TPAMI 深度学习 顶刊论文 论文解读
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_42722197/article/details/146135639
版权

论文信息

题目：GALA: Graph Diffusion-Based Alignment With Jigsaw for Source-Free Domain Adaptation
GALA：基于图扩散的对齐与拼图的无源域适应
作者：Junyu Luo, Yiyang Gu, Xiao Luo, Wei Ju, Zhiping Xiao, Yusheng Zhao, Jingyang Yuan, and Ming Zhang
源码链接：https://github.com/luo-junyu/GALA

论文创新点

  1. 无源图域适应：本文首次探索了无源图域适应问题，即在无法访问源图的情况下，将现成的源模型适应到未标记的目标图。这是一个实际但尚未充分探索的问题࿰

了解本专栏 订阅专栏 解锁全文
TPAMI 2024 | 人体运动生成：一项综述研究
小白学视觉
07-31 1416
人类动作生成旨在生成自然的人姿势序列，并展示出对现实世界应用的巨大潜力。近年来，在运动数据收集技术和生成方法方面取得了实质性进展，为人类动作生成日益增长的兴趣奠定了基础。该领域的大多数研究侧重于基于条件信号生成人类动作，例如文本、音频和场景上下文。尽管近年来取得了显著进展，但由于人类动作的复杂性质及其与条件信号的隐式关系，该任务仍然面临挑战。在这篇综述中，我们提供了人类动作生成的综合文献回顾，据我们所知，这是该领域首次此类综述。
TPAMI 2024 | 正则化损失与超参数估计在弱监督单类分割中的应用
小白学视觉
07-18 1227
Regularized Loss With Hyperparameter Estimation for Weakly Supervised Single Class Segmentation 正则化损失与超参数估计在弱监督单类分割中的应用 作者：Zongliang Ji; Olga Veksler 摘要 我们提出了一种新的图像级弱监督分割方法，适用于只含有单一感兴趣对象类别的数据集。我们的方法基于经典条件随机场（CRF）建模启发的正则化损失函数。我们的损失模型了通用对象的属性，并用它引导CNN朝向更可能对
TPAMI 2024 | MURF：相互增强的多模态图像配准与融合
Python_cocola的博客
11-04 3575
现有的图像融合方法通常限制于对齐的源图像，并且当图像未对齐时必须“容忍”视差。同时，不同模态之间的大差异对多模态图像配准提出了重大挑战。本研究提出了一种称为MURF的新方法，首次将图像配准和融合相互加强，而不是作为单独的问题来处理。MURF利用三个模块：共享信息提取模块（SIEM）、多尺度粗配准模块（MCRM）和精细配准与融合模块（F2M）。配准是以从粗到精的方式进行的。在粗配准过程中，SIEM首先将多模态图像转换为单模态共享信息以消除模态差异。然后，MCRM逐步纠正全局刚性视差。
TPAMI 2024 | Diversify：一种时间序列分布外检测和泛化的通用框架
小白学视觉
07-29 1488
题目：Diversify: A General Framework for Time Series Out-of-Distribution Detection and Generalization Diversify：一种时间序列分布外检测和泛化的通用框架 作者：W. Lu; J. Wang; X. Sun; Y. Chen; X. Ji; Q. Yang; X. Xie 摘要 时间序列仍然是机器学习研究中最具挑战性的模态之一。时间序列的分布外（OOD）检测和泛化常常由于其非平稳性质而面临困难，即分布随时
TPAMI 2024 | B-Cos对固有可解释的CNN和视觉Transformer的对齐
小白学视觉
07-27 1370
我们提出了一种通过在训练过程中促进权重和输入对齐来提高深度神经网络(DNN)可解释性的新方向。为此，我们提出用我们新颖的B-cos变换来替代DNN中的线性变换。正如我们所展示的，这样的变换序列(网络)会诱导出一个单一的线性变换，能够忠实地总结整个模型的计算。此外，B-cos变换被设计为在优化过程中使权重与相关信号对齐。因此，这些诱导出的线性变换变得高度可解释，并突显任务相关的特征。
TPAMI 2024 | FGAHOI：用于人体-物体交互检测的细粒度锚点
小白学视觉
07-30 1246
人类-对象交互（HOI）作为计算机视觉中的一个重要问题，需要定位人-对象对并识别它们之间的交互关系。与单个对象实例相比，HOI实例在空间、尺度和任务上具有更大的跨度，使其检测更容易受到嘈杂背景的干扰。为了减轻嘈杂背景对HOI检测的干扰，有必要考虑输入图像信息以生成细粒度锚点，然后利用这些锚点指导检测HOI实例。然而，存在以下挑战：i) 如何从包含复杂背景信息的图像中提取关键特征仍然是一个开放性问题。ii) 如何在语义上对齐提取的特征和查询嵌入也是一个难题。
TPAMI 2024 | CrossFormer++: 基于跨尺度注意力的多功能视觉Transformer
小白学视觉
07-05 2231
虽然不同尺度的特征在视觉输入中具有感知重要性，但现有的视觉Transformer尚未显式利用这些特征。为此，我们首先提出了一种跨尺度视觉Transformer，即CrossFormer。它引入了跨尺度嵌入层（CEL）和长短距离注意力（LSDA）。一方面，CEL将每个标记与不同尺度的多个补丁混合，为自注意力模块本身提供跨尺度特征。另一方面，LSDA将自注意力模块分为短距离和长距离部分，这不仅减少了计算负担，还保留了标记中的小尺度和大尺度特征。
TPAMI 2024｜DeepM2CDL：基于层级式多尺度卷积字典的多模态图像修复与融合网络
OpenCV中文网
06-06 1023
关注公众号，发现CV技术之美本文为粉丝投稿，原文链接：https://zhuanlan.zhihu.com/p/701844704。本文介绍了北京航空航天大学徐迈教授课题组最新发表于IEEE Transactions on Pattern Analysis and Machine Intelligence (TPAMI 2024)上的工作“DeepM2CDL: Deep Multi-scale M...
真能打！再中TPAMI2024 | FastBEV: 一个快速和强大的BEV基线
CV_Autobot的博客
07-21 426
点击下方卡片，关注“自动驾驶之心”公众号戳我->领取自动驾驶近15个方向学习路线今天自动驾驶之心为大家分享FastBEV: 一个快速和强大的BEV基线，再被TPAMI2024收录！如果您有相关工作需要分享，请在文末联系我们！>>点击进入→自动驾驶之心『BEV感知』技术交流群编辑 | 自动驾驶之心前言车端感知算法，作为自动驾驶技术的核心构成之一，近年来经历了显著的技术飞跃与数次迭...
TPAMI 2024 | MotionDiffuse：基于文本驱动的人体运动生成扩散模型
小白学视觉
07-21 553
人类动作建模是许多现代图形应用的重要组成部分，通常需要专业技能。为了消除普通人的专业技能障碍，最近的动作生成方法可以直接根据自然语言生成人体动作。然而，使用各种文本输入实现多样化和细粒度动作生成仍然具有挑战性。为了解决这个问题，我们提出了MotionDiffuse，这是最早的基于扩散模型的文本驱动动作生成框架之一，它展示了相对于现有方法的几个理想属性。1) 概率映射。与确定性的语言-动作映射不同，MotionDiffuse通过一系列去噪步骤生成动作，在这些步骤中注入变化。2) 现实合成。
TPAMI 2024 | PathNet: 基于路径选择的点云去噪
小白学视觉
07-29 847
当前的点云去噪(PCD)模型优化单一网络，试图使其参数适应于大量点云池中的每个点。这种去噪网络范式忽略了不同点通常受到不同程度的噪声干扰，并且它们可能传达不同的几何结构。因此，噪声和几何的复杂性带来了包括残留噪声、错误平滑的边缘和去噪后形状扭曲等副作用。我们提出了PathNet，一种基于强化学习(RL)的路径选择性PCD范式。与现有工作不同，PathNet能够动态选择每个点最合适的去噪路径，最佳地将其移动到其底层表面上。除了首次提出路径选择性PCD框架外，我们还有另外两个贡献。
TPAMI 2024 | MixFormer: 基于迭代混合注意力的端到端跟踪
小白学视觉
07-02 722
视觉目标跟踪通常采用多阶段流水线，包括特征提取、目标信息集成和边界框估计。为了简化这一流程并统一特征提取和目标信息集成的过程，本文提出了一种紧凑的跟踪框架，称为 MixFormer，基于 transformers 构建。我们的核心设计是利用注意力操作的灵活性，提出了一种混合注意力模块（MAM），用于同时进行特征提取和目标信息集成。这种同步建模方案使我们能够提取目标特定的判别特征，并在目标和搜索区域之间进行广泛的通信。
TPAMI 2024 | AdaPoinTr：采用自适应几何感知Transformer的多样化点云补全
小白学视觉
10-22 576
在本文中，我们提出了一种名为 PoinTr 的 Transformer 编码器-解码器架构，该架构将点云补全问题重新定义为集合到集合的翻译问题，并采用几何感知块来显式建模局部几何关系。Transformer 的迁移使我们的模型能够更好地学习结构知识并保留点云补全过程中的详细信息。为了解决更复杂和多样化的情况，我们进一步提出了 AdaPoinTr，通过开发自适应查询生成机制和设计一种新颖的去噪任务来完成点云。
在深度学习中，什么是线性插值（linear interpolation）？
weixin_44649780的博客
04-30 433
线性插值是寻找两个点之间中间值的最基础方法之一，广泛应用于：数值计算计算机图形学机器学习和深度学习它的标准公式是：x0,x1∈Rn：两个向量或标量t∈[0,1]：插值系数（0 表示完全靠近 x0，1 表示完全靠近 x1​）它对应的是两个点之间的一条线段轨迹。线性插值就是“在两个已知点之间，按一定比例找到中间点”的方法，无论是图像、特征、模型参数，它都可以用来“平滑地过渡”。📢 想要了解更多内容，可在VX小程序搜索🔍AI Pulse,获取更多最新内容。
远程深度学习新环境配置流程
weixin_45668967的博客
04-30 285
下载并安装适合你系统的 Miniconda 版本。
Transformer：颠覆深度学习的架构革命与技术演进
源滚滚编程
04-30 1670
2017年，谷歌团队在论文《Attention Is All You Need》中提出的Transformer架构，彻底改变了人工智能对序列数据的处理范式。通过这种机制，模型能够自动识别并强化相关位置的语义关联，例如在句子“The cat sat on the mat”中，“cat”与“sat”的关联权重显著高于其他无关词汇。其核心思想是：每个位置的输入向量通过**查询（Query）、键（Key）、值（Value）**三个矩阵变换，动态计算与其他位置的关联权重。，实现了全局上下文感知与并行计算的完美平衡。
《解锁LibTorch：开启C++深度学习新征程》
最新发布
zheng_ruiguo的专栏
04-30 682
LibTorch 作为 PyTorch 的 C++ 接口，凭借其独特的优势在深度学习领域占据了重要的一席之地。它不仅继承了 PyTorch 的动态计算图和自动求导机制，还充分发挥了 C++ 语言的高性能和低延迟特性，为深度学习的研究和应用提供了强大的支持。从功能特性上看，LibTorch 在张量操作、神经网络训练与推理、多平台支持以及与 Python 的互操作性等方面表现出色。其张量操作接口简洁高效，与 PyTorch 类似，方便开发者快速上手。
基于Python Flask的深度学习电影评论情感分析可视化系统（2.0升级版，附源码）
IT徐师兄
04-27 1148
基于Python Flask的深度学习电影评论情感分析可视化系统（2.0升级版），集成了Flask框架与先进的word2vec向量模型，能够自动解析影评文本的情感倾向，精准评估电影的好评与差评比例，并通过直观的可视化界面展示分析结果。该项目通过大数据技术分析海量影评，量化好评与差评的分布，为电影评论提供全面的汇总评价分析。
一种用于从视网膜图像中识别疾病的 BERT 式自监督学习 CNN
hao_wujing的专栏
04-28 727
在我们的网络中，输出图像的大小为(224,224)，下采样率为32，使我们的蒙版大小为(7,7).我们进一步使用从预训练模块中学到的特征图进行分类研究。此外，与传统的 CNN 相比，ViT 在图像处理中表现出较少的定位能力，因为它们的机制主要针对图像的块级，而不是直接关注单个像素。].我们在 CNN 中观察到的优势，以及预训练对自我监督学习的显着好处，以及 ViT 的潜在缺点，都激发了进一步的思考：是否有可能将性能良好的 CNN 与 BERT 风格的生成式自我监督学习相结合进行预训练，以结合两者的优势？
tpami2024图像去噪
03-29
### TPAMI 2024 年关于图像去噪的研究概述 在TPAMI 2024年的研究中，有一篇重要的论文提出了无需去噪的含噪图像表示方法[^1]。这项工作旨在解决具有挑战性的噪声退化问题，并提出了一种新的时频判别图像表示技术。这种方法不仅能够提供信息噪声鲁棒性，还能保持几何不变性，而不需要任何学习过程或显式的去噪操作。 具体而言，这种新方法适用于多种小规模鲁棒视觉问题，尤其是在安全和取证领域中的对抗假设场景下表现出显著潜力。其核心优势在于能够在不依赖传统去噪算法的情况下实现对含噪图像的有效表征，从而简化了处理流程并提高了效率。 此外，在多模态图像修复与融合方面也有相关进展。另一项研究表明，通过设计一种名为DeepMCDL的新颖可解释网络，可以有效应对复杂的图像恢复任务[^2]。尽管此部分重点并非完全集中于单一模式下的去噪问题，但它展示了如何利用深度学习框架结合字典学习机制来提升图像质量，这对于理解更广泛的图像增强策略提供了有价值的见解。 对于特定类型的干扰因素如雨水影响，则存在专门针对此类情况开发的技术方案。例如，“图像去雨Transformer”的研究成果涵盖了多个公开可用的数据集用于验证模型性能，其中包括但不限于Rain200H、Rain200L以及SPAData等[^3]。虽然这些资源主要用于评估去除降雨效果的能力，但从侧面反映了当前学术界对于复杂环境下信号提取的关注程度，这也间接促进了通用型图像去噪理论的发展方向。 综上所述，无论是专注于构建新型无监督式含噪图像表达方式还是探索跨域协作优化路径，都可以看出近年来围绕提高数字媒体抗干扰特性的科研活动正呈现出蓬勃发展的态势。 ```python # 示例代码片段展示可能应用于图像预处理阶段的操作逻辑 import numpy as np def apply_noise_robust_representation(image_array): # 假设此处实现了基于时频分析的方法 transformed_image = np.fft.fftshift(np.fft.fft2(image_array)) return abs(transformed_image) # 调用函数模拟输入输出转换过程 noisy_input = np.random.rand(256, 256) * 255 processed_output = apply_noise_robust_representation(noisy_input) ``` ####
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

小白学视觉

您的赞赏是我们坚持下去的动力~

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值