小白学视觉-CSDN博客

原创【荐读IEEE TPAMI】基于模型的强化学习与独立想象力

在基于视觉的交互系统中，世界模型学习行动的后果。然而，在实际场景中，如自动驾驶，存在不可控制的动态，这些动态独立于或与行动信号稀疏相关，这使得学习有效的世界模型变得具有挑战性。为了解决这个问题，我们提出了Iso-Dream++，这是一种基于模型的强化学习方法，具有两个主要贡献。首先，我们优化了逆动力学，鼓励世界模型从环境混合的时空变化中隔离出可控制的状态转换。其次，我们基于解耦的潜在想象进行策略优化，我们将不可控制的状态滚动到未来，并将其与当前可控制的状态自适应地关联起来。

2024-05-18 19:15:00 1418

原创【荐读IEEE TPAMI】无监督去雨：非对称对比学习与自相似性相遇

大多数现有的基于学习的去雨方法都是在合成的雨-清洁对上进行有监督训练的。合成雨与真实雨之间的领域差距使它们在复杂的真实雨场景中的泛化能力降低。此外，现有方法主要独立利用图像或雨层的属性，很少有方法考虑它们之间的相互排斥关系。为了解决这一困境，我们探索了每层内部的内在自相似性以及两层之间的相互排斥性，并提出了一种无监督的非局部对比学习（NLCL）去雨方法。非局部自相似性图像块作为正样本被紧密地拉在一起，而雨块作为负样本则被显著地推开，反之亦然。

2024-05-13 12:24:06 1268

原创 TPAMI 2026 | DC-SAM 横空出世！融合 SAM 特征，打造图像视频通用上下文分割框架

无论是在经典的COCO-20i、PASCAL-5i数据集，还是全新的IC-VOS基准，甚至跨领域的工业、医学数据集，DC-SAM都展现出领先的性能，为SAM系列模型在上下文分割任务中的应用提供了全新范式。DC-SAM则将两者融合：先从支持图像和查询图像中提取主干网络特征，再结合SAM编码器输出的同尺寸特征，通过卷积操作整合，让生成的特征既保留主干网络的语义先验，又贴合SAM提示编码器的特性，大幅提升提示与SAM解码器的匹配度，为后续提示生成打下基础。如图5所示，仅用正样本提示时，分割掩码边缘粗糙；

2026-05-28 19:00:00 338

原创 TPAMI 2025 | 融合知识提取与扩散模型，UCFD 攻克 OOD 检测数据缺失难题

该方法无需依赖OOD训练数据，仅通过挖掘已知物体的视觉知识、推理未知概念，就能合成有效的虚拟OOD特征，大幅提升检测器的OOD识别能力，还能无缝集成到Faster R-CNN等主流检测器中，在无监督OOD检测、增量式检测、开放集检测三大任务中均实现性能跃升。反向过程是合成OOD特征的关键：模型从未知概念池中随机采样未知概念，用这些概念引导U-Net网络逐步还原特征——但不是还原成已知特征，而是生成包含未知概念、偏离已知知识的虚拟OOD特征。要合成有效的OOD特征，首先得把已知物体的视觉知识摸透。

2026-05-28 19:00:00 431

转载 AAAI 2026｜重大突破！上海电机学院等提出 SimpleDiffusion：多模态显著性检测轻量高效 SOTA

SimpleDiffusion的价值，在于打破了“高精度必须依赖大模型”的固有认知，既保证了多模态显著目标检测的效果，又解决了模型轻量化、高效化的问题。SimpleDiffusion是首个不依赖Stable Diffusion的轻量型扩散模型，它的设计思路很简单：在保证检测精度的前提下，把模型做小、把速度提快，同时优化多模态信息的融合效果。简单理解，就是把模型迭代过程中产生的多个中间结果，按重要程度加权平均，充分利用所有有用信息，让最终的检测结果更精准，且不会增加额外的计算时间。

2026-05-27 21:01:00 135

原创 TPAMI 2025 | 小样本也能打！MoE-Adapters++ 在少样本持续学习中大幅领先

尤其是视觉语言模型，比如CLIP，它能看懂图片、理解文字，还能实现“零样本”识别（没见过的东西也能认出来），但一旦让它持续学新任务，要么丢了零样本能力，要么计算量暴增。论文为此设计了“分布判别自动选择器（DDAS）”，它就像模型的“智能安检员”，能自动判断输入的图片是“学过的任务”（分布内）还是“没学过的新东西”（分布外）。论文首先提出了MoE-Adapters框架，把一个个轻量级的“适配器”当成不同领域的“专家”，比如有的专家擅长识别动物，有的擅长识别风景。如果是学过的，就交给对应的路由器和专家处理；

2026-05-27 21:01:00 600

原创 TPAMI 2026 | 告别双骨干冗余！DFormer++ 以深度引导注意力，重塑 RGB-D 语义分割新标杆

DFormer++最核心的突破之一，是首次将深度信息纳入预训练阶段（图1右侧）。传统方法用RGB预训练主干处理深度数据（图1左侧），而DFormer++直接使用ImageNet-1K的RGB-深度对预训练，让模型从一开始就学会编码RGB-D联合特征，彻底弥合预训练与微调的模态鸿沟。除了标准RGB-D场景，DFormer++还能泛化到RGB-LiDAR、RGB-热成像（RGB-T）等多模态场景，在KITTI-360、MFNet等异质数据集上依然保持性能优势，证明其作为通用多模态基础模型的潜力。

2026-05-21 11:02:34 624

转载会议征稿｜2026年下半年好投会议推荐：计算机视觉、智能算法、先进计算、人工智能、大数据等多主题征稿！快至5天录用！

本次会议采用在线方式报名参会，并通过在线系统提交论文,在线投稿链接：https://www.yanfajia.com/action/p/VF3ESYJ8。本次会议采用在线方式报名参会，并通过在线系统提交论文：https://www.yanfajia.com/action/p/8NJA62EV。本次会议采用在线方式报名参会，并通过在线系统提交论文：https://www.yanfajia.com/action/p/7SNCLVJT。该出版物见刊检索稳定。该出版物见刊检索稳定。该出版物见刊检索稳定。

2026-05-21 11:02:34 219

转载 TPAMI 2026 | 全光谱-空间-频率感知，三域融合注意力！Alliance：遥感分类分割变化检测全 SOTA

这篇论文的创新思路，不仅为遥感基础模型研究指明了方向，也让我们看到AI在地球观测领域更大的应用潜力——未来，当AI能像人类一样读懂地球的每一寸地表，精准农业、智能环保、智慧城市的落地，都将迎来全新的可能。这些令牌不是随机生成的，而是嵌入了不同频率的余弦波特征，让模型天生就能识别不同频段的信息，解决了“频率感知缺失”的核心问题。这个基于山东黄河流域的数据集，包含8个地物类别，专门用来测试模型的跨域迁移能力——毕竟好的遥感模型，不仅要能“看懂”已知场景，还要能适应不同时间、不同区域的新数据。

2026-05-20 20:22:53 110

原创 AAAI 2026 | SAM 赋能融合！东南大学 CtrlFuse：参考提示编码器 + 提示语义融合模块

在目标检测任务中（就是找到并认出目标），对汽车、公交车的检测精度最高（表3），意味着用了CtrlFuse的融合图像，自动驾驶、无人机巡检的识别准确率会更高。CtrlFuse的核心思路很简单：给融合模型加一个“提示引导”功能，让它能根据用户指定的目标（比如“汽车”“行人”），针对性地增强该区域的融合效果。CtrlFuse最特别的优势是“可控”——想让模型关注哪个目标，就给哪个目标做掩码提示，哪怕是没有标注的数据集（比如LLVIP数据集），也能根据文字指令生成提示，精准增强指定目标（图7）。

2026-05-20 20:22:53 567

原创 TPAMI 2025 | 即插即用！UPLVP 成为 QEIS 模型低数据实例分割通用预训练方案

针对这一痛点，来自多所机构的研究团队提出了全新的无监督预训练框架UPLVP（基于语言-视觉提示的无监督预训练），首次将语言-视觉提示技术引入QEIS模型的查询/核预训练中，让QEIS模型在低数据场景下既能快速收敛，又能实现性能跃升。UPLVP的核心思路是：借助语言-视觉大模型生成高质量伪掩码，再将其转化为视觉提示注入模型内核，同时通过辅助监督强化内核的语义判别能力，让QEIS模型在预训练阶段就掌握关键的定位和形状先验。该损失仅在预训练阶段生效，既弥补了伪标签的不足，又能让模型学到更具泛化性的知识。

2026-05-13 19:03:21 613

原创 TPAMI 2025 | 工业质检新利器！M3DM-NR 实现 RGB-3D 多模态抗噪异常检测 SOTA

M3DM-NR的核心价值在于首次系统化解决了RGB-3D多模态噪声工业异常检测问题：通过三阶段框架实现样本级+块级的双层去噪，既充分利用3D点云的形状优势，又解决了多模态特征融合的干扰问题。正是瞄准这两个痛点，研究团队首次深入探索RGB-3D多模态含噪工业检测问题，提出了三阶段多模态抗噪框架M3DM-NR，既补齐了3D模态的短板，又实现了样本级和块级的双重去噪。：结合阶段I生成的疑似异常图，为不同局部块分配权重，对多尺度的异常分数进行聚合，让含异常的块获得更高关注，最终计算出每个样本的整体异常分数。

2026-05-12 21:59:18 640

原创 CVPR 2026 | 同济 LAS-VAD：融合跨模态信息，弱监督视频异常检测全面超越 SOTA

基于这一观察，LAS-VAD引入大语言模型（LLM）生成各异常类别的属性描述，提取这些描述的文本特征后，与异常类别基础文本特征融合，再和视频视觉特征做跨模态对齐，以此引导模型更精准地检测异常。在更具挑战性的UCF-Crime上，AVG mAP达到15.62，相较LEC-VAD提升15.2%，充分证明其在区分异常细微差异上的优势。LAS-VAD框架通过异常连通组件机制弥补帧级监督缺失的问题，借助意图感知机制区分外观相似但意图不同的行为，融合异常属性信息强化语义感知，全方位突破了现有WS-VAD方法的瓶颈。

2026-05-12 21:59:18 549

原创 TPAMI 2025 | 双物理损失项加持！PC-SRGAN 革新 GAN 的瞬态模拟超分能力

从框架上看，PC-SRGAN的输入是低分辨率的物理模拟快照（如不同时间步的流体速度场、相场分布），生成器在对抗训练的基础上，需同时满足物理方程约束：内部像素需符合偏微分方程（PDE）的演化规律，边界像素需满足Dirichlet、Neumann或周期性边界条件，时间维度则通过显式欧拉、Crank-Nicolson、后向差分公式（BDF）等数值积分方法保证因果性，最终输出物理一致的高分辨率模拟结果。同时，物理约束损失的通用性，也为扩散模型、流模型等非GAN类超分辨率方法提供了物理一致性改造的思路。

2026-04-26 19:01:08 601

原创 TPAMI 2025 | 突破域适应瓶颈！这款视觉-语言框架让模型跨域迁移更高效

比如训练好的图像分类模型，能从标注好的“源域”数据，无缝适配到没标注的“目标域”数据，这就是无监督域适应（UDA）的核心诉求。比如一张“手绘小猫图”，视觉特征里的笔触、线条是独有的，文本特征里的“手绘、卡通”描述也是独有的，这些宝贵信息被浪费，模型自然没法做到最优适配。这篇论文的核心思路特别接地气：不强行抹平模态间隙，而是把视觉特征拆成两部分——视觉关联组件（VAC）和语言关联组件（LAC），分别保留视觉、文本的专属知识，再用智能的方式整合，让模型既能用通用知识，也能抓专属信息。

2026-04-26 19:01:08 591

转载硕博生必看！老实人别傻傻死磕，聪明人早有捷径~保姆级发刊技巧快来拿！

正规机构保障：背靠研途考研，深耕教育十余年，重交付、重口碑是我们一贯的理念，大公司将为你的科研之路和自身权益全程保驾护航！这是一支实力强大的高学历导师团队，在计算机科学、机器学习、深度学习等领域，积累了丰富的科研经历，研究成果也发表在国际各大顶级会议和期刊上，在指导学员的过程中，某某师兄又中了一篇顶会，隔壁实验室的师妹刚拿下了CF A类，就连之前一起吐槽导师放养的同门，都已经开始气定神闲地准备答辩了。的同学，想要以宏观视角，把之前长达四年单篇论文细节的研究成果，整合成一部逻辑自治、体系完整的博士学位论文。

2026-04-21 11:46:05 125

原创 TPAMI 2025｜首个文视融合跨域姿态框架：VLPose 开启 VRAR 姿态新可能

而今天要介绍的VLPose框架，就像给姿态估计模型装上了“双语大脑”，一边懂视觉，一边懂语言，轻松打通自然与人工场景的壁垒，让AI既能精准识别真人姿态，也能读懂艺术作品里的人体结构。试想：如果元宇宙里的虚拟形象连动漫角色的姿态都识别不准，怎么实现精准的动作捕捉和交互？

2026-04-21 11:46:05 578

原创 TPAMI 2025 | 更少参数更高性能！旋转等变框架刷新任意尺度超分辨率基准

整个框架的设计逻辑围绕“旋转等变”展开：Rot-E编码器负责提取具有旋转等变特性的图像特征，Rot-E INR模块则基于这些特征构建连续的隐式图像函数，最终输出任意尺度的HR图像。比如重复纹理的方向偏移、锐角边缘的模糊失真，这些问题极大影响了超分效果的实用性。针对近年热门的Transformer编码器，团队将其补丁嵌入层、线性层替换为Rot-E版本，移除破坏等变性的位置嵌入模块，构建了适配ASISR的Rot-E Transformer编码器，在π/2离散旋转角度下实现精确的旋转等变。

2026-04-20 21:22:58 655

原创 TPAMI 2025 | 轻量即高效！OLC 插件 + CRB：开放世界 3D 检测主动学习双强合一

它没有搞复杂的模型架构，而是从采样策略入手，用简单的OLC策略解决了“找新类别、控成本”的核心问题，再结合CRB形成Open-CRB框架，既保证性能，又兼顾实用性。简单说，这个任务的目标是：用最少的标注成本，让3D检测模型适应真实开放场景，既能认熟类别，又能识别没见过的新类别。最近，Zhuoxiao Chen等学者提出的Open-CRB框架，首次把3D目标检测主动学习带入了“开放世界”，用极低的标注成本，让模型既能认旧类别，又能快速学新类别。但现实世界是开放的，新物体、新类别无处不在。

2026-04-20 21:22:58 554

原创 CVPR 2026 | 突破局部偏置与误差累积！AlignVAR 重塑视觉自回归超分的全局一致性

近期，一篇题为《AlignVAR: Towards Globally Consistent Visual Autoregression for Image Super-Resolution》的论文，针对VAR模型在ISR中的核心痛点，提出了全新的全局一致框架AlignVAR，不仅解决了空间和层次不一致的问题，还实现了10倍以上的推理加速、近50%的参数减少，同时保持了极具竞争力的感知质量和结构保真度。如图6所示，对比传统VARSR，AlignVAR能有效减轻跨尺度误差传播，重建出更一致的结构和纹理细节。

2026-04-19 19:00:59 546

原创 TPAMI 2025 自协作 + 重增强，这款 GAN 框架让图像复原告别配对数据依赖

二是想要提升性能，要么大幅修改模型结构，要么增加推理阶段的计算量，难以兼顾效果与效率。这篇论文的核心贡献在于，跳出了“靠修改模型结构、增加推理成本提升性能”的传统思路，通过“自协作+再增强”的训练策略，让无监督GAN复原框架实现了“性能飙升+推理高效”的双赢。这两种约束的结合，让生成器能更全面地学习真实世界的退化分布——“非配对合成”从不同内容的退化图像中提取退化特征，“自合成”则基于相同内容图像强化退化特征学习，二者互补让生成的伪退化图像更贴近真实场景，为后续复原器训练打下坚实基础。

2026-04-16 20:58:55 610

原创 TPAMI 2025 | 清华 & NTU 联合攻关：掩码全局语义补全，视觉语言预训练全局 - 局部对齐登顶

对于普通用户来说，这意味着未来的AI能更精准地理解“图片+文字”“视频+文字”的组合信息：搜“海边日落”不再出现无关图片，问“视频里的人物在做什么”能得到精准回答，甚至刷视频时的推荐也会更贴合心意。这种“重局部、轻全局”的问题，直接导致模型的全局语义理解能力拉胯：明明是“海边日落”的全局语义，却匹配到了“路边小花”的局部特征；而对于科研和工业界来说，这篇论文的思路也提供了新方向：跨模态学习不该只盯着“局部修补”，更要兼顾全局语义的完整性，让模型真正“理解”多模态信息，而不是简单的“匹配”碎片。

2026-04-16 11:44:23 589

原创 CVPR 2026 | 解决 LUT 感受野瓶颈！ShiftLUT 轻量扩展感受野实现高效图像恢复

这一研究不仅为资源受限设备的高效图像恢复提供了新方案，也为基于LUT的轻量化模型设计提供了全新思路——通过精细化的模块设计和资源分配，而非简单堆叠网络，就能实现性能和效率的双赢。无论是超分辨率、去噪还是去块效应，ShiftLUT都在更小的存储、更快的推理速度下，实现了更高的恢复质量。近期，CVPR 2026的一篇研究论文提出了ShiftLUT框架，创新性地解决了这一痛点——在所有基于LUT的方法中实现了最大感受野，同时还能保持极致的存储和推理效率，为边缘设备的高效图像恢复带来了全新方案。

2026-04-15 19:07:44 676

原创 CVPR 2026 | MoECLIP 融合 MoE 与 PEFT：零样本异常检测 14 数据集霸榜 SOTA

路由器会根据输入图像块的特征，计算每个专家的路由分数，仅激活分数最高的2个专家（Top-2路由），再将这些专家的输出加权求和，得到该图像块的自适应特征。MoECLIP的核心创新，在于将“补丁级别自适应”引入零样本异常检测，通过MoE架构的动态路由+专家专业化机制，彻底打破了现有方法“统一处理所有图像块”的局限。为避免特征范数失配破坏CLIP的泛化能力，模型还对MoE输出做了归一化处理——匹配原始特征的L2范数，仅保留方向信息，再通过残差连接与原始特征融合，既保证训练稳定性，又不丢失CLIP的全局语义优势。

2026-04-15 19:07:44 1071

原创 CVPR 2026 | 西交 & 港科大联合提出 CoIn3D：空间感知调制赋能多相机 3D 检测跨配置泛化

研究团队重新审视了相机配置对MC3D泛化性的影响，提出了一套通用框架CoIn3D，让模型能轻松适配不同的相机配置，在NuScenes、Waymo、Lyft三大主流数据集的跨配置测试中，性能实现了质的飞跃。地面是3D检测的重要参考，CoIn3D先通过地平面方程计算出每个像素对应的地面深度（图3(b)直观展示了不同相机高度下地面深度的变化差异），再通过地面梯度图描述深度的变化速率——这能让模型适应不同相机安装高度带来的透视差异，避免过拟合单一高度的透视规律。再渲染网格得到精确的深度图，补全孔洞后生成密集深度；

2026-04-14 19:02:30 686

原创 TPAMI 2025 | UISE 重磅来袭：动态卷积赋能通用图像分割全任务通吃

从语义分割、实例分割到全景分割，再到动态的视频实例分割，不同分割任务往往需要专用模型适配，要么牺牲精度追求速度，要么为了泛化性陷入模型臃肿的困境。更关键的是，UISE在训练时用IFA保证精度，推理时无缝重参数化为CFA，无需重新训练，就能实现2.6倍的速度提升，完美解决了特征聚合的效率瓶颈。从图中能直观看到，主干网络先提取图像的多尺度特征，再经由特征金字塔聚合器完成特征的高效聚合，最后通过可分离动态解码器生成通用分割核，最终完成各类分割任务的掩码与类别预测。这种方式虽能保证精度，但计算量巨大。

2026-04-14 19:02:30 765

原创 TPAMI 2025 | 即插即用 DK3D：无额外算力，大幅提升单目 3D 目标检测性能

该模块的核心是“注释前景物体级深度图（AFOD）”——仅保留前景目标的精准深度，避免背景噪声干扰，再通过交叉注意力和坐标嵌入，将深度线索与视觉语义特征融合，让教师生成带深度感知的指导特征，学生则从这些特征中隐式学习几何推理能力，无需显式估计深度。这也为纯视觉3D检测的落地，提供了新的技术路径。今天要分享的这篇TPAMI 2025的顶刊论文，提出了全新的深度感知知识蒸馏框架DK3D，直击跨模态蒸馏的痛点，无需额外数据、不增加推理成本，就能显著提升单目和多视图3D检测模型性能，堪称即插即用的性能增强神器！

2026-04-10 21:17:07 651

原创 TPAMI 2025 | 开放世界检测突破！SKDF：蒸馏大模型开放词汇知识，纯视觉检测器速度提升 115 倍

但对AI来说，这却是个大难题——传统目标检测器只能识别训练过的"已知目标"，面对没见过的"未知目标"，要么视而不见，要么直接"失忆"，忘了怎么识别原本会的东西。和现有最优的OWOD检测器比（图6），SKDF能检测到更多潜在的未知目标：桌子上的书、泰迪熊，墙上的画框，这些被其他模型忽略的东西，SKDF都能精准识别为未知目标，还不会把已知目标认错。未来，随着这类方法的发展，我们的手机、监控、自动驾驶汽车里的目标检测器，会像人一样，既能认出熟悉的东西，又能发现陌生的事物，真正适应复杂的开放世界。

2026-04-10 21:17:07 565

原创 TPAMI 2026 | 语义先验也能匹配！RCM + 解锁人体关键点目标检测框的特征对应

最后通过两阶段精匹配和亚像素细化，输出高精度的最终匹配结果。无论是几何先验（关键点、线条）还是语义先验（人体关键点、检测框），无论是室外大尺度变化场景，还是室内复杂纹理场景，RCM+都能凭借灵活的适配性、高效的匹配效率、高精度的匹配结果，展现出强大的应用潜力。编码器负责提取全局交互后的通用特征，无参数解码器则不依赖任何训练好的参数分布，这让RCM+能以“零样本”方式匹配任意输入位置——无论是关键点、线条、边缘、任意分辨率网格，甚至是人体关键点、检测框、用户手动点击的点，都能适配，真正实现“按需匹配”。

2026-04-09 19:01:42 612

原创 CVPR 2026 | 索尼 & IIIT Hyderabad 提出 EWOD 新范式！EW-DETR 革新动态世界目标检测

在自动驾驶、仓储机器人等真实场景中，目标检测器面临的从来都不是“一成不变”的环境——新的物体类别不断出现、场景从白天切换到雾天夜晚、从未见过的陌生物体需要被识别出来，更关键的是，受限于数据存储或隐私法规，模型还不能回头使用过去的训练数据。为了应对EWOD的多重挑战，研究团队提出了EW-DETR框架，它基于经典的DETR检测器，通过三个协同模块的设计，在无过往数据依赖的前提下，同时解决遗忘、领域偏移、未知检测三大问题。从研究角度来说，它为开放世界识别和领域自适应持续学习的交叉领域，提供了全新的思路和基准。

2026-04-09 19:01:42 627

原创 TPAMI 2025 | 可见光融合红外红外，实现医学/遥感场景全拿下！多模态制导图像融合新框架

在计算机视觉领域，图像融合始终是极具价值的研究方向——无论是军事侦察中可见光与红外图像的互补融合，还是医学诊断里不同模态影像的信息整合，亦或是遥感领域的全色锐化、高光谱与多光谱图像融合，优质的融合算法都能让合成图像更全面、精准地还原场景信息。先来看RWKVFusion的整体框架（图1），整个框架分为两大分支：融合分支（高效多模态网络）和语义分支（提供语言+掩码语义信息），输入不同模态图像后，结合语言描述T和掩码M的引导，最终输出高质量融合图像。

2026-04-07 21:09:00 765

原创 TPAMI 2025 | 南大新作：深度平衡模型，开启目标检测分割无限精修时代

近期，Shuai Wang、Yao Teng、Limin Wang等研究者提出的深度均衡解码器（DEQ-Decoder），为解决这些问题提供了全新思路——将查询细化建模为无限深度的固定点求解问题，不仅大幅提升参数效率，还在MS-COCO基准上实现了更快的收敛、更低的内存消耗和更优的性能。当迭代次数趋近于无穷大时，查询向量会收敛到稳定的均衡状态（固定点），无需依赖预设的细化步数，也无需存储反向传播的隐藏状态，内存效率和建模灵活性大幅提升。尤其在实例分割中，前序解码器层的参数训练后往往被丢弃，造成极大浪费。

2026-04-07 21:09:00 578

原创 TPAMI 2025 | 强化学习驱动自动选样，持续语义分割记忆利用再升级

首先把图像的语义区域拆分成多个超像素（每个超像素代表一个有意义的语义结构，比如鸟的头部、汽车的轮子），每个超像素对应图中的一个顶点，顶点特征是超像素内所有像素的平均骨干特征；但研究团队发现，即便是最优候选样本，其分数也未必理想，因此又增加了“样本增强”步骤：通过梯度更新的方式优化样本，提升其智能体分数，让这些样本在后续重放中发挥更大作用。最后用最优传输算法进行图匹配，得到的匹配成本就能精准反映两张图像的相似性——比如比较“人”类别的两个区域时，既能评估衣着的语义相似性，又能衡量身体姿态的空间相似性。

2026-04-06 20:36:42 577

原创 TPAMI 2025 | 全新 BIPNet 框架：自适应渐进上采样，让 burst 图像恢复实现质的飞跃

传统后期融合机制难以实现灵活的帧间信息交换，PBFF模块（图3(a)）则另辟蹊径：将所有对齐后特征的对应通道拼接，通过卷积生成“伪突发特征”——每个伪突发特征图都包含所有原始帧的互补属性，相当于让每帧特征都“吸收”了其他帧的优势，实现充分的帧间信息交互。在灰度/彩色突发去噪任务中，BIPNet即便面对训练中未见过的高噪声水平（增益∝8），仍表现优异：灰度去噪比MFIR高0.91 dB，彩色去噪高0.58 dB（表4、表5），视觉上（图10）重建图像更干净，无残留噪点和模糊。

2026-04-06 20:36:42 542

原创 TPAMI 2025 | 北理团队新作 SFM：轻量易集成，分割模型即插即用提性能

这篇研究的核心价值，在于重新定义了语义分割中高频信息的处理方式：传统方法为避免混叠而“丢弃高频”，而SFM通过“调制-解调”的闭环，实现了“保护高频”的目标。：通过比率密度函数（RDF）分析特征频率（如图6），调制后的特征在奈奎斯特频率以上的高频功率显著降低，解调后的特征则几乎恢复到原始特征的高频分布，证明“调制-解调”的有效性。经过下采样和网络处理后，需要将低分辨率的调制特征恢复到原始尺寸，这一步就是解调，由MSAU模块完成（如图4），核心解决传统双线性上采样无法适配非均匀调制特征的问题。

2026-04-04 19:01:56 538

原创 TPAMI 2026 | 中港联合打造 PointLLM-V2：点云 - 语言对齐新范式，3D 理解全面突破

传统的2D图像理解方式，会受视角、遮挡、深度模糊的影响——比如一张桌子的照片，你没法准确判断它的高度和腿的数量。PointLLM-V2的出现，不仅刷新了3D点云理解的SOTA，更给行业指明了方向：把复杂的3D问题拆解成数据、架构、评估三个核心环节，逐一突破，就能让大模型真正读懂3D世界。不管前面的对话是正确的、错误的，还是无关的（比如问“你是谁”“写个冒泡排序”），PointLLM-V2的准确率几乎没波动，平均差距只有1.4%（表7）——这意味着它不会被无关信息干扰，能稳定响应3D相关指令。

2026-04-04 19:01:56 785

原创 TPAMI 2025 | 港城大团队新作：强化学习引导 ODE 轨迹，提升图像复原性能

近期，一篇发表于TPAMI 2025的研究论文，为基于微分方程的图像恢复方法带来了颠覆性突破，提出全新的轨迹优化范式，打造出统一的感知图像恢复模型FLUX-IR，在超分辨率、去噪、去模糊等7类任务上均达到领先水平。这意味着，无论是专业的工业场景，还是日常的图像修复需求，FLUX-IR都能提供高质量、高效率的解决方案。未来，随着该框架与更高效的网络结构、更丰富的数据集结合，基于微分方程的图像恢复方法有望在更多实际场景中发挥作用——从安防监控、医疗影像，到手机拍照、影视后期，让高质量的图像恢复触手可及。

2026-04-01 21:31:16 629

原创 TPAMI 2025 | 形变感知配准 + 特征交互融合，遥感目标检测精度效率双提升

这项研究的核心创新在于，打破了“均匀采样”的传统思维，针对遥感图像“背景多、目标少”的特点，提出任务驱动的混合高斯形变采样方法，并结合双分支框架实现特征的精准对齐与融合。不同输入分辨率、高斯核参数、密度网络输入尺寸的消融实验（见表5、表8、表9、表11），也进一步验证了方法设计的合理性——选择512×512的形变图像分辨率，能在精度损失仅0.03%的情况下，将推理速度提升至17.6 FPS，计算量减少40.55%。这样既保留了形变特征中丰富的目标激活信息，又校准了空间位置，确保回归任务的准确性。

2026-04-01 21:31:16 632

原创 TPAMI 2025｜面向真实场景：CoDAv2 解决 3D 开放词汇检测长尾分布与背景干扰难题

它用“协同发现新物体+跨模态精准对齐”的思路，解决了传统3D检测“认不出新物体”的核心痛点，不仅在学术上刷新了性能基准，也为工业界落地更通用的3D检测系统提供了可行方案。未来，随着这类方法的发展，3D检测模型会像人类一样，既能认识已知的物体，也能通过学习不断“认识”新物体，真正实现从“有限词汇”到“开放词汇”的跨越。通过这两个线索的结合，模型在训练时能不断发现新物体的3D框，生成“伪标签”，相当于自己给自己“补课”，解决了新物体“定位难”的问题。找到新物体还不够，训练数据里新物体太少，模型学不扎实。

2026-03-31 19:45:01 599

原创 TPAMI 2026 | 自监督蒸馏 + 轻量门控：RGMR 高效过滤多模态无关上下文

近期，Jinhui Yang、Ming Jiang和Qi Zhao团队的研究登上顶会，不仅首次系统性定义了这个问题，还造出了能“测抗干扰能力”的IR-VQA基准、能“评稳定性”的新指标，甚至给模型装了个轻量级“过滤器”，让AI终于能像人一样，精准过滤干扰、稳定输出答案。未来，随着IR-VQA基准的普及和RGMR机制的优化，我们或许能看到更多“抗干扰”的大模型——它们不会被无关图片带偏，不会被冗余文字搅乱，能像人一样，在复杂的现实世界里，保持清晰的思路，稳定输出靠谱的答案。这，才是AI走向实用的关键一步。

2026-03-31 19:45:01 565

Python视觉实战项目31讲.pdf

空空如也