TPAMI 2024 | 高保真和高效的多解图像补全方法：基于Transformer的研究

最新推荐文章于 2025-05-03 23:30:11 发布
最新推荐文章于 2025-05-03 23:30:11 发布
阅读量6 收藏
点赞数
分类专栏： 论文解读 IEEE TPAMI 文章标签： transformer 深度学习 人工智能 IEEE TPAMI 顶刊论文 论文解读
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_42722197/article/details/146135671
版权

论文信息

题目：High-Fidelity and Efficient Pluralistic Image Completion With Transformers
高保真和高效的多解图像补全方法：基于Transformer的研究
作者：Ziyu Wan, Jingbo Zhang, Dongdong Chen, Jing Liao

论文创新点

  1. 结合Transformer和CNN的优势 使用Transformer进行多解外观先验重建，以恢复连贯的图像结构和粗略纹理。利用CNN进行局部纹理细化，在高分辨率掩膜图像的引导下增强粗略先验的局部纹理细节。

  2. 提出新的解码策略：温度退火概率采样（TAPS） 首次实现了超过70倍的推理加速，同时保持了采样全局结构的高质量和多样性。通过温度退火和分布替换机制，有效解决了传统置信度引

了解本专栏 订阅专栏 解锁全文
TPAMI 2024 | AdaPoinTr：采用自适应几何感知Transformer的多样化点云补全
小白学视觉
10-22 576
在本文中，我们提出了一种名为 PoinTr 的 Transformer 编码器-解码器架构，该架构将点云补全问题重新定义为集合到集合的翻译问题，并采用几何感知块来显式建模局部几何关系。Transformer 的迁移使我们的模型能够更好地学习结构知识并保留点云补全过程中的详细信息。为了解决更复杂和多样化的情况，我们进一步提出了 AdaPoinTr，通过开发自适应查询生成机制和设计一种新颖的去噪任务来完成点云。
TPAMI 2024 | PERF: 从单张全景图生成全景神经辐射场
小白学视觉
11-09 128
神经辐射场（NeRF）在给定多视角图像时，在新视角合成任务上取得了显著进展。最近，一些研究尝试利用3D先验知识，从单张图像中训练NeRF。然而，它们主要关注有限视角且包含少量遮挡的情况，这大大限制了其在真实世界中的360度全景场景中的扩展性，尤其是在存在大面积遮挡时。在本文中，我们提出了PERF，一个从单张全景图训练全景神经辐射场的360度新视角合成框架。值得注意的是，PERF允许在复杂场景中进行3D漫游，而无需繁琐的图像收集。
TPAMI 2024 | 点云分割领域自适应的组合语义混合
小白学视觉
09-11 440
当在不同传感器捕获或在变化环境中测试时，深度学习模型用于3D点云语义分割展现出有限的泛化能力，这是由于领域偏移所导致的。领域自适应方法可以用来减轻这种领域偏移，例如，通过模拟传感器噪声、开发领域不可知生成器或训练点云完成网络。通常，这些方法为范围视图图或需要多模态输入而量身定制。相比之下，图像领域的领域自适应可以通过样本混合来执行，这强调了输入数据的操作，而不是采用不同的自适应模块。在本研究中，我们引入了点云领域自适应的组合语义混合，这是第一个基于语义和几何样本混合的无监督领域自适应技术，用于点云分割。
TPAMI 2024 | 多元图像补全中的全局上下文交互桥接
小白学视觉
01-30 62
我们介绍了PICFormer，这是一个基于transformer架构的新颖框架，用于多元化图像补全（Pluralistic Image Completion），实现了高质量和多样性的图像，并且推理速度大大提高。我们的关键贡献是引入了一种代码共享的码本学习，通过在小的、不重叠的感受野（RFs）上使用限制性CNN来表示局部可见令牌。这产生了一个紧凑但富有表现力的离散表示，便于transformer高效建模全局可见上下文关系。与流行的自回归方法不同，我们提出同时采样所有令牌，从而将推理速度提高100倍以上。
TPAMI 2024 | 通过大模型进行可校正地标发现的视觉语言导航
小白学视觉
02-25 134
视觉语言导航（VLN）要求智能体根据语言指令导航到目标位置。成功导航的关键因素是将指令中隐含的地标与多样的视觉观察对齐。然而，以往的VLN智能体在未探索的场景中难以进行准确的模态对齐，因为它们从有限的导航数据中学习，缺乏足够的开放世界对齐知识。在本工作中，我们提出了一种新的VLN范式，称为通过大模型进行可校正地标发现（CONSOLE）。在CONSOLE中，我们将VLN视为一个开放世界的顺序地标发现问题，通过引入基于两个大模型ChatGPT和CLIP的可校正地标发现方案。具体来说，我们使用ChatGPT提供丰
各种模型~合集
whaosoft143ai的博客
04-22 405
1. 驶向未来：面向自动驾驶的多视图预测与规划的世界模型Driving into the Future: Multiview Visual Forecasting and Planning with World Model for Autonomous Driving论文作者：王宇琪，何嘉伟，范略，李鸿鑫，陈韫韬，张兆翔最近，世界模型的概念引发了广泛关注。我们首次提出了一种名为Drive-WM的全新多视图世界模型，旨在增强端到端自动驾驶规划的安全性。Drive-WM模型通过多视图世界模型，能够想象不同规划路
51c大模型~合集78
whaosoft~aiotの开发板商城
11-24 981
在大语言模型时代小语言模型的增强方法会有不同，包括从头开始训练 SLMs 的训练方法、使 SLMs 遵循指令的监督微调 (SFT)、先进的知识提炼和量化技术，以及 LLMs 中经常使用的技术，以增强 SLMs 针对特定应用的性能。然而，这个环境集包含许多退化的情况，如果简单地采样，它们可能会主导分布。为了选择要训练的关卡，研究者使用了 SOTA UED 算法 SFL，它定期在随机生成的关卡上执行大量 rollout，然后选择具有高学习能力的子集，并在固定时间内对它进行训练，最后再次选择新的关卡。
TPAMI 2024 | 结构引导的图像补全：图像级和对象级语义判别器
小白学视觉
12-13 73
结构引导的图像补全旨在根据用户提供的输入引导图来修复图像的局部区域。尽管这样的任务为交互式编辑提供了许多实际应用，但现有方法在复杂自然场景中生成逼真的对象实例时常常遇到困难。这种局限性部分是由于缺乏对洞区域内语义级约束以及缺乏强制生成逼真对象的机制。在本工作中，我们提出了一个包含语义判别器和对象级判别器的学习范式，以改进复杂语义和对象的生成。具体来说，语义判别器利用预训练的视觉特征来提高生成视觉概念的真实性。此外，对象级判别器以对齐的实例为输入，以强制执行单个对象的真实性。
TPAMI 2024 | I2C：用于高保真可变速率图像压缩的可逆连续编解码器
小白学视觉
07-21 381
有损图像压缩是媒体传输和存储中的核心技术。最近，可变码率方法获得了较多关注，以避免在不同压缩率下使用不同的模型集合。在媒体共享过程中，不可避免地会执行多次不同码率的重新编码。然而，现有的基于变分自编码器（VAE）的方法在这种情况下很容易被破坏，导致强烈的伪影出现和图像保真度的破坏。基于通过可逆变换保持图像保真的理论发现，我们旨在解决高保真度细粒度可变码率图像压缩的问题，因此提出了可逆连续编解码器（I2C）。我们以数学可逆的方式实现I2C，并采用核心的可逆激活变换（IAT）模块。
TPAMI 2024 | Box2Mask: 基于包围盒的实例分割算法
小白学视觉
08-19 675
与使用像素级掩码标签的全监督方法不同，基于包围盒注释的实例分割利用简单的框注释，最近吸引了越来越多的研究关注。本文提出了一种新颖的单次实例分割方法，即Box2Mask，它将经典水平集演化模型整合到深度神经网络学习中，仅使用包围盒监督就能实现精确的掩码预测。具体来说，输入图像及其深度特征被用来隐式地演化水平集曲线，并且使用基于像素亲和核的局部一致性模块来挖掘局部上下文和空间关系。
TPAMI 2024 | CrossFormer++: 基于跨尺度注意力的多功能视觉Transformer
小白学视觉
07-05 2231
虽然不同尺度的特征在视觉输入中具有感知重要性，但现有的视觉Transformer尚未显式利用这些特征。为此，我们首先提出了一种跨尺度视觉Transformer，即CrossFormer。它引入了跨尺度嵌入层（CEL）和长短距离注意力（LSDA）。一方面，CEL将每个标记与不同尺度的多个补丁混合，为自注意力模块本身提供跨尺度特征。另一方面，LSDA将自注意力模块分为短距离和长距离部分，这不仅减少了计算负担，还保留了标记中的小尺度和大尺度特征。
在深度学习中，什么是线性插值（linear interpolation）？
weixin_44649780的博客
04-30 431
线性插值是寻找两个点之间中间值的最基础方法之一，广泛应用于：数值计算计算机图形学机器学习和深度学习它的标准公式是：x0,x1∈Rn：两个向量或标量t∈[0,1]：插值系数（0 表示完全靠近 x0，1 表示完全靠近 x1​）它对应的是两个点之间的一条线段轨迹。线性插值就是“在两个已知点之间，按一定比例找到中间点”的方法，无论是图像、特征、模型参数，它都可以用来“平滑地过渡”。📢 想要了解更多内容，可在VX小程序搜索🔍AI Pulse,获取更多最新内容。
远程深度学习新环境配置流程
weixin_45668967的博客
04-30 284
下载并安装适合你系统的 Miniconda 版本。
Transformer：颠覆深度学习的架构革命与技术演进
源滚滚编程
04-30 1658
2017年，谷歌团队在论文《Attention Is All You Need》中提出的Transformer架构，彻底改变了人工智能对序列数据的处理范式。通过这种机制，模型能够自动识别并强化相关位置的语义关联，例如在句子“The cat sat on the mat”中，“cat”与“sat”的关联权重显著高于其他无关词汇。其核心思想是：每个位置的输入向量通过**查询（Query）、键（Key）、值（Value）**三个矩阵变换，动态计算与其他位置的关联权重。，实现了全局上下文感知与并行计算的完美平衡。
《解锁LibTorch：开启C++深度学习新征程》
zheng_ruiguo的专栏
04-30 681
LibTorch 作为 PyTorch 的 C++ 接口，凭借其独特的优势在深度学习领域占据了重要的一席之地。它不仅继承了 PyTorch 的动态计算图和自动求导机制，还充分发挥了 C++ 语言的高性能和低延迟特性，为深度学习的研究和应用提供了强大的支持。从功能特性上看，LibTorch 在张量操作、神经网络训练与推理、多平台支持以及与 Python 的互操作性等方面表现出色。其张量操作接口简洁高效，与 PyTorch 类似，方便开发者快速上手。
基于Python Flask的深度学习电影评论情感分析可视化系统（2.0升级版，附源码）
IT徐师兄
04-27 1145
基于Python Flask的深度学习电影评论情感分析可视化系统（2.0升级版），集成了Flask框架与先进的word2vec向量模型，能够自动解析影评文本的情感倾向，精准评估电影的好评与差评比例，并通过直观的可视化界面展示分析结果。该项目通过大数据技术分析海量影评，量化好评与差评的分布，为电影评论提供全面的汇总评价分析。
一种用于从视网膜图像中识别疾病的 BERT 式自监督学习 CNN
hao_wujing的专栏
04-28 727
在我们的网络中，输出图像的大小为(224,224)，下采样率为32，使我们的蒙版大小为(7,7).我们进一步使用从预训练模块中学到的特征图进行分类研究。此外，与传统的 CNN 相比，ViT 在图像处理中表现出较少的定位能力，因为它们的机制主要针对图像的块级，而不是直接关注单个像素。].我们在 CNN 中观察到的优势，以及预训练对自我监督学习的显着好处，以及 ViT 的潜在缺点，都激发了进一步的思考：是否有可能将性能良好的 CNN 与 BERT 风格的生成式自我监督学习相结合进行预训练，以结合两者的优势？
长短期记忆网络（LSTM）
weixin_73557167的博客
04-29 1682
LSTM
【计算机视觉】三维重建: MVSNet：基于深度学习的多视图立体视觉重建框架
最新发布
weixin_43988131的博客
05-03 766
三维重建: MVSNet：基于深度学习的多视图立体视觉重建框架
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

小白学视觉

您的赞赏是我们坚持下去的动力~

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值