【cs.CV】25.1.11 arxiv更新速递

hinmer

已于 2025-01-13 16:26:10 修改

阅读量984

点赞数 13

分类专栏： arxiv CV每日更新文章标签： chatgpt gpt 人工智能自然语言处理自动驾驶深度学习 aigc

于 2025-01-13 16:21:36 首次发布

本文链接：https://blog.csdn.net/hinmer/article/details/145118457

版权

arxiv 同时被 2 个专栏收录

22 篇文章

订阅专栏

CV每日更新

7 篇文章

订阅专栏

25.1.10 12:00 - 25.1.11 12:00 共更新99 篇

—第1篇----

=====

Multi-subject Open-set Personalization in Video Generation

🔍 关键词: 视频个性化, 多主题, 开放集, 扩散转换器, 视频生成

PDF链接

摘要: 视频个性化方法允许我们合成具有特定概念（如人物、宠物和地点）的影片。然而，现有方法通常专注于有限的领域，需要针对每个主题进行耗时的优化，或仅支持单一主题。我们提出了Video Alchemist —— 一种具有内置多主题、开放集个性化能力的视频模型，适用于前景对象和背景，消除了耗时的测试时间优化需求。我们的模型基于新的扩散转换器模块，将每个条件参考图像及其相应的主题级文本提示与交叉注意力层融合。在开发如此大型模型时面临两个主要挑战：数据集和评估。首先，由于参考图像和视频的配对数据集极难收集，我们从选定的视频帧中抽样作为参考图像，并合成目标视频的片段。然而，虽然模型在训练视频给定参考帧时可以轻松去噪，但在新情境中却无法很好泛化。为缓解这一问题，我们设计了一个新的自动数据构建管道，配合广泛的图像增强。其次，开放集视频个性化本身就是一个挑战。为解决这一问题，我们引入了一个个性化基准，专注于准确的主题保真度，并支持多样化的个性化场景。最后，我们的大量实验证明，我们的方法在定量和定性评估中都显著优于现有的个性化方法。
总结: Video Alchemist模型通过多主题开放集个性化能力显著提升视频个性化方法的性能，克服了现有方法的局限。

###【arXiv编号】
2501.06187v1

###【git】
暂无

###【期刊】
预印本

###【领域】
计算机视觉

[推荐指数：4]

该研究提出了创新的Video Alchemist模型，显著提升了视频个性化的多主题和开放集能力，解决了现有方法的多项限制，具有较高的实用性和创新性。

—第5篇----

=====

LlamaV-o1: Rethinking Step-by-step Visual Reasoning in LLMs

🔍 关键词: 视觉推理, 大型语言模型, 多步骤推理, 计算机视觉

PDF链接

摘要: 推理是解决复杂多步骤问题的基本能力，特别是在视觉环境中，顺序逐步的理解至关重要。现有方法缺乏一个全面的框架来评估视觉推理，并且不强调逐步解决问题。为此，我们提出了一个全面的框架，通过三个主要贡献来推进大型语言模型（LMMs）的逐步视觉推理。首先，我们引入了一个专门设计用于评估多步骤推理任务的视觉推理基准。该基准呈现了一组多样的挑战，涵盖从复杂的视觉感知到科学推理的八个不同类别，总计超过4000个推理步骤，使得对大型语言模型在多个步骤中的准确和可解释视觉推理能力进行稳健评估成为可能。其次，我们提出了一种新的度量标准，在个别步骤的粒度上评估视觉推理质量，强调正确性和逻辑一致性。所提出的度量标准相比传统的端任务准确性指标提供了更深入的推理性能洞察。第三，我们提出了一种新的多模态视觉推理模型，命名为LlamaV-o1，采用多步骤课程学习方法进行训练，其中任务被逐步组织以促进增量技能获取和问题解决。所提出的LlamaV-o1旨在进行多步骤推理，并通过结构化的训练范式逐步学习。大量实验表明，我们的LlamaV-o1优于现有的开源模型，并与封闭源的专有模型表现相当。与最近的Llava-CoT相比，我们的LlamaV-o1在六个基准测试中平均得分为67.3，绝对提升了3.8%，同时在推理规模上速度提升了5倍。我们的基准、模型和代码已公开。

PDF Link

摘要: 宫颈癌仍然是全球女性中第四常见的恶性肿瘤。同步化疗放疗（CRT）是局部晚期宫颈癌的主要根治治疗方案，包括外束放射和随后使用近距离放疗。放射治疗计划的重要组成部分是常规描绘子宫颈水平的靶肿瘤、相关的妇科解剖结构以及邻近的风险器官（OAR）。然而，手动描绘这些结构既费时又费力，而且存在已知的观察者间差异，这可能影响治疗效果。虽然已经开发了多种工具来使用计算机断层扫描（CT）图像自动分割OAR和高风险临床肿瘤体积（HR-CTV），但使用常规T2加权（T2w）磁共振成像（MRI）开发基于深度学习的肿瘤分割工具满足了未满足的临床需求，能够改善解剖结构和宫颈癌的常规描绘，从而提高放射治疗计划的质量和一致性。本研究应用了一种新型深度学习模型（PocketNet）在T2w MRI上分割子宫颈、阴道、子宫和肿瘤。通过5折交叉验证对PocketNet架构的性能进行了评估。PocketNet在肿瘤分割方面实现了超过70%的平均Dice-Sorensen相似系数（DSC），在器官分割方面超过80%。这些结果表明，PocketNet对于对比协议的变化具有鲁棒性，能够可靠地分割感兴趣区域。
总结: 本文提出了一种基于PocketNet的深度学习模型，有效地在T2w MRI上自动分割宫颈肿瘤及相关解剖结构，展示了其在提高放疗计划一致性和质量方面的潜力。

###【arXiv:2409.11456v2】

###【git】

###【期刊】

###【领域】计算机视觉、人工智能、机器学习

[推荐指数：4]

PocketNet模型在宫颈肿瘤和相关器官的自动分割中表现出较高的准确性和鲁棒性，具有显著的临床应用潜力，尽管在创新性方面仍有进一步提升的空间，因此给予4分的推荐指数。

—第9篇----

=====

MS-Temba : Multi-Scale Temporal Mamba for Efficient Temporal Action Detection

🔍 关键词: 时序动作检测, 多尺度时序建模, Mamba架构, Transformer

PDF链接

摘要: 在真实世界场景中，小时级未剪辑视频中密集分布的动作使得动作检测尤其具有挑战性。它需要对短期和长期的时序关系进行建模，同时处理显著的同类内部时序变化。之前的最先进（SOTA）基于Transformer的架构虽然有效，但由于其高参数数量、GPU内存使用和有限的吞吐量，使其在实际部署中不实用，尤其对于非常长的视频。在这项工作中，我们创新性地调整了Mamba架构用于动作检测，并提出了多尺度时序Mamba（MS-Temba），包括两个关键组件：时序Mamba（Temba）块和时序Mamba融合器。Temba块包括用于短范围时序建模的时序局部模块（TLM）和用于长期依赖关系的膨胀时序SSM（DTS）。通过引入膨胀，Mamba的一个新概念，TLM和DTS在多个尺度上捕捉局部和全局特征。Temba融合器使用Mamba聚合这些特定尺度的特征，以学习未剪辑视频的全面多尺度表示。MS-Temba在三个公共数据集上得到验证，在长视频上超过了SOTA方法，在短视频上与之前的方法持平，同时仅使用了之前的八分之一参数。
总结: 本文提出了一种高效的多尺度时序Mamba架构，显著提升了长期视频中动作检测的性能，并大幅减少了模型参数。

###【arXiv编号】2501.06138
###【git】
###【期刊】
###【领域】计算机视觉, 智慧交通

[推荐指数：4]

=====

—第10篇----

=====

Benchmark Evaluations, Applications, and Challenges of Large Vision Language Models: A Survey

🔍 关键词: cs.CV, cs.AI, cs.CL, cs.LG, cs.RO

PDF链接

摘要: 多模态视觉语言模型（VLMs）已成为计算机视觉和自然语言处理交叉领域的一项变革性技术，使机器能够通过视觉和文本两种模态感知和推理世界。例如，CLIP、Claude 和 GPT-4V 等模型在视觉和文本数据上的推理和理解能力强于传统的单模态视觉模型，特别是在零样本分类方面表现出色。尽管 VLMs 在研究上快速发展并在应用中越来越受欢迎，但对于希望在特定领域利用 VLMs 的研究人员来说，现有关于 VLMs 的综合调查明显不足。因此，我们系统性地概述了过去五年（2019-2024）开发的主要 VLMs 的模型信息；这些 VLMs 的主要架构和训练方法；VLMs 的流行基准和评估指标的总结与分类；VLMs 在具身代理、机器人和视频生成等方面的应用；当前 VLMs 面临的如幻觉、公平性和安全性等挑战和问题。详细的论文和模型仓库链接列在 https://github.com/zli12321/Awesome-VLM-Papers-And-Models.git。
总结: 本文系统综述了大型视觉语言模型的评估、应用及挑战，提供了全面的研究和应用指导。
###【arXiv编号】2501.02189v2
###【git】https://github.com/zli12321/Awesome-VLM-Papers-And-Models.git
###【期刊】arXiv
###【领域】计算机视觉，人工智能，自然语言处理，机器学习，机器人学

[推荐指数：4]

该综述全面系统地总结了大型视觉语言模型的最新进展、应用及面临的挑战，对于研究人员和工程师具有较高的参考价值。

—第11篇----

=====

Pixel Is Not A Barrier: An Effective Evasion Attack for Pixel-Domain Diffusion Models

🔍 关键词: 扩散模型, 对抗攻击, 像素域, 图像编辑, 计算机视觉

链接1

摘要: 扩散模型已成为高质量图像生成的强大工具，许多后续的图像编辑技术基于它们。然而，基于文本的图像编辑的便捷性带来了显著的风险，如用于诈骗或侵犯知识产权的恶意编辑。以前的研究尝试通过添加不可察觉的扰动来保护图像免受基于扩散的编辑，但这些方法成本高昂，且专门针对流行的潜在扩散模型（LDMs），而像素域扩散模型（PDMs）在这方面尚未得到充分探索并且对这些攻击具有鲁棒性。我们的工作通过提出一种新颖的攻击框架AtkPDM填补了这一空白。AtkPDM主要包括利用去噪UNets漏洞的特征表示攻击损失和增强对抗图像自然性的潜在优化策略。大量实验证明了我们的方法在攻击主流基于PDM的编辑方法（如SDEdit）方面的有效性，同时保持了合理的保真度，并对常见的防御方法具有鲁棒性。此外，我们的框架可扩展到LDMs，达到与现有方法相当的性能。
总结: 本文提出了一种针对像素域扩散模型的新颖对抗攻击框架AtkPDM，能够有效攻击主流图像编辑方法并保持图像质量。

###【arXiv编号】2408.11810v2
###【git】无
###【期刊】未发表
###【领域】计算机视觉

[推荐指数：4]

该研究在生成模型的安全性方面提出了创新性的攻击方法，具有较高的实用价值，但实际应用中的防御机制仍需进一步探索和验证。

—第12篇----

=====

Self-Supervised Masked Mesh Learning for Unsupervised Anomaly Detection on 3D Cortical Surfaces

🔍 关键词: 自监督学习, 掩蔽网格学习, 无监督异常检测, 3D皮层表面, 脑影像

PDF链接

摘要: 脑影像中的无监督异常检测具有挑战性。本文提出了一种自监督的掩蔽网格学习方法，用于3D皮层表面的无监督异常检测。我们的框架利用皮层表面的内在几何结构，学习一种自监督表示，捕捉大脑的基本结构。我们引入了一种掩蔽网格卷积神经网络（MMN），用于预测皮层表面的掩蔽区域。通过在大规模健康个体数据集UKB和HCP-Aging上训练MMN，我们学习到捕捉皮层表面正常变化的表示。然后，我们使用这种表示通过计算MMN的重建误差来检测未见个体中的异常。我们在阿尔茨海默病患者的数据集ADNI和OASIS3上测试，评估我们的框架。结果表明，我们的框架可以检测皮层厚度、皮层体积和皮层沟特征的异常，这些特征已知是阿尔茨海默病的敏感生物标志物。我们提出的框架基于皮层特征的规范性变化，为无监督异常检测提供了一种有前景的方法。
总结: 本文提出了一种基于自监督掩蔽网格学习的框架，有效用于3D皮层表面的无监督异常检测，特别适用于阿尔茨海默病的脑影像分析。
###【arXiv编号】2412.05580v2
###【期刊】
###【领域】计算机视觉, 电子工程信号处理

[推荐指数：4]

该研究创新性地将自监督学习应用于脑影像的异常检测，具有较高的实用性和创新潜力，但创新性需要进一步验证。

—第13篇----

=====

Atlas: 一种新型病理基础模型

🔍 关键词: 无

链接1

摘要: 最近数字病理学的进展表明，基础模型在各类应用中表现出色。在本报告中，我们介绍了Atlas，这是一种基于RudolfV方法的新型视觉基础模型。我们的模型在来自两家医疗机构（Mayo Clinic 和 Charité - Universitätmedizin Berlin）的120万份病理全幻灯片图像的数据集上进行了训练。全面评估表明，尽管Atlas的参数数量和训练数据集规模都不是最大的，但在21个公共基准数据集上仍实现了最先进的性能。总结: Atlas模型在病理学视觉分析中实现了领先的性能，尽管其规模不如其他模型。

###【arXiv:2501.05409v2】
###【git】: 无
###【期刊】: 无
###【领域】: 计算机视觉, 人工智能, 数字病理学

[推荐指数：4]

Atlas作为一种新型的病理基础模型，在多个公共基准数据集上表现优异，展示了其在数字病理学中的创新性和实用性。

—第14篇----

=====

FaceMe: Robust Blind Face Restoration with Personal Identification

🔍 关键词: cs.CV

PDF链接

摘要: 盲面部修复是一个高度病态的问题，因为缺乏必要的上下文。尽管现有方法能够生成高质量的输出，但它们常常无法忠实地保留个人的身份信息。本文提出了一种基于扩散模型的个性化面部修复方法——FaceMe。给定一张或几张参考图像，我们使用身份编码器提取与身份相关的特征，这些特征作为提示，引导扩散模型恢复高质量且身份一致的面部图像。通过简单地组合身份相关特征，我们有效地在训练过程中最小化身份无关特征的影响，并在推理过程中支持任意数量的参考图像输入。此外，得益于身份编码器的鲁棒性，合成的图像可以在训练过程中用作参考图像，且在推理过程中改变身份无需对模型进行微调。我们还提出了一种构建参考图像训练池的流程，该流程模拟了现实场景中可能出现的姿态和表情。实验结果表明，我们的FaceMe能够在保持身份一致性的同时恢复高质量的面部图像，实现了出色的性能和鲁棒性。

总结: FaceMe通过使用身份编码器引导扩散模型，实现了高质量且身份一致的盲面部修复，展示了优异的性能和鲁棒性。

###【arXiv编号】2501.05177v2

###【git】

###【期刊】

###【领域】计算机视觉，图像处理，面部识别

[推荐指数：4]

=====

—第18篇----

=====

BIV-Priv-Seg: 定位视觉障碍人士所拍摄图像中的私人内容

🔍 关键词: 视觉障碍, 隐私保护, 图像分割, 计算机视觉

PDF链接

摘要: 盲人或低视力人士（BLV）如果分享他们拍摄的照片，可能更容易泄露私人信息。为促进开发能够帮助他们保护隐私的技术，我们推出了BIV-Priv-Seg，这是第一个源自视觉障碍人士的私人内容定位数据集，包含1,028张带有16类私人对象分割标注的图像。我们首先对BIV-Priv-Seg进行了特征描述，并评估了现代模型在定位数据集中私人内容的表现。研究发现，现代模型在定位不显著、较小且无文字的私人对象，以及识别图像中是否不存在私人内容时表现最为困难。我们通过在https://vizwiz.org/tasks-and-datasets/object-localization上分享我们的新数据集，以促进未来的扩展。

总结: 该研究提出了一个新的私人内容定位数据集，并评估了现代模型在帮助视觉障碍人士保护隐私方面的表现。

###【arXiv编号】: 2407.18243v3

链接1

摘要: Vision Transformer（ViT）在各种视觉任务中展示了显著的潜力，这归功于其在建模长程依赖关系方面的强大能力。然而，这种成功在很大程度上依赖于在大量样本上的训练。在实际应用中，往往无法获得大规模的数据集，如果仅在小规模数据集（称为Tiny数据集）上训练，ViT的表现会逊于卷积神经网络（CNN），因为它需要大量的训练数据来确保其表示能力。本文提出了一种具有多尺度自注意机制和卷积块的小型ViT架构（称为MSCViT），以在每一层建模不同尺度的注意力。首先，我们引入了小波卷积，通过频率划分选择性地将获得的高频成分与我们的卷积通道相结合，以提取局部特征。然后，开发了一种轻量级多头注意模块，以减少tokens的数量和计算成本。最后，将骨干网络中的位置编码（PE）替换为局部特征提取模块。与原始ViT相比，该模型参数效率更高，特别适用于Tiny数据集。在Tiny数据集上进行了广泛的实验，我们的模型在CIFAR-100上达到84.68%的准确率，参数量为14.0M，GFLOPs为2.5，且无需在大规模数据集上进行预训练。
总结: 该研究提出了一种适用于小规模数据集的多尺度自注意力ViT架构，显著提升了ViT在Tiny数据集上的性能。
###【arXiv编号】2501.06040v1
###【git】
###【期刊】
###【领域】计算机视觉

[推荐指数：4]

提出了一种高效且创新的ViT架构，能够在小规模数据集上实现优异表现，具有较高的实用性和研究价值。

—第23篇----

=====

AI驱动的虚拟组织：基于空间蛋白质组学的临床诊断与生物医学发现

🔍 关键词: 空间蛋白质组学, 虚拟组织, Transformer架构, 临床诊断, 生物医学发现

链接1

摘要: 空间蛋白质组学技术通过实现多种分子标记及其空间组织的同时分析，改变了我们对复杂组织结构的理解。这些数据的高维度、实验中标记组合的多样性以及异构的研究设计为计算分析带来了独特的挑战。在此，我们提出了虚拟组织（VirTues），这是一个跨分子、细胞和组织尺度的生物组织基础模型框架。VirTues在Transformer架构设计上引入了创新，包括一种新颖的标记化方案，能够捕捉空间和标记维度，以及能够扩展到高维多重数据且保持可解释性的注意力机制。在多样的癌症和非癌症组织数据集上训练后，VirTues展示了强大的泛化能力，无需任务特定的微调，能够实现跨研究分析和新标记整合。作为一个通用模型，VirTues在临床诊断、生物发现和患者案例检索任务中优于现有方法，同时提供了对组织功能和疾病机制的洞见。

总结: VirTues通过创新的Transformer架构显著提升了空间蛋白质组学在临床诊断和生物医学研究中的应用效果。

###【arXiv编号】2501.06039v1

###【git】

###【期刊】

###【领域】计算机科学、人工智能、定量生物学

[推荐指数：5]

=====

—第24篇----

=====

A Holistically Point-guided Text Framework for Weakly-Supervised Camouflaged Object Detection

🔍 关键词: 无

PDF Link

摘要: 弱监督伪装目标检测（WSCOD）因其能够使用弱标签训练模型以分割与周围环境视觉融合的目标而受到关注。最近，一些使用稀疏标注监督的方法通过在WSCOD中进行涂抹显示出有希望的结果，而基于点文本监督的方法尚未得到充分研究。因此，本文提出了一种新颖的整体点指导文本框架用于WSCOD，分为三个阶段：分割、选择、训练。具体来说，我们提出了点指导的候选生成（PCG），其中点的前景作为文本路径的修正，以在掩码生成过程中明确地修正和更新检测目标的损失（SEGMENT）。我们还引入了合格候选鉴别器（QCD），使用CLIP从给定的文本提示中选择最佳掩码（CHOOSE），并使用所选的伪掩码通过自监督视觉变换器进行训练（TRAIN）。此外，我们开发了新的点监督数据集（P2C-COD）和文本监督数据集（T-COD）。在四个基准数据集上的综合实验表明，我们的方法大幅优于最先进的方法，并且也优于一些现有的全监督伪装目标检测方法。
总结: 本文提出了一个创新的点文本指导框架，显著提升了弱监督伪装目标检测的效果。
###【arXiv:2501.06038】
###【领域】: 计算机视觉

[推荐指数：4]

该研究在弱监督伪装目标检测领域引入了全新的点文本指导方法，并通过全面实验验证了其优越性，具有较高的创新性和实用价值。

—第25篇----

=====

Nonisotropic Gaussian Diffusion for Realistic 3D Human Motion Prediction

🔍 关键词: 人体运动预测, 隐空间扩散模型, 非各向同性高斯扩散, 骨架结构

项目页面

PDF链接

摘要: 人体运动的概率预测旨在基于过去的观察预测多种可能的未来动作。尽管当前的方法报告了高多样性和逼真性，但它们通常会生成肢体伸展和抖动未被检测到的动作。为了解决这个问题，我们引入了SkeletonDiffusion，这是一种在其架构和训练中嵌入了人体显式归纳偏差的隐空间扩散模型。我们的模型采用了一种新颖的非各向同性高斯扩散公式进行训练，与人体骨架的自然运动结构保持一致。结果表明，我们的方法优于传统的各向同性替代方案，始终生成逼真的预测，同时避免了诸如肢体扭曲等伪影。此外，我们发现常用的多样性指标存在一个限制，可能会无意中偏向于在同一序列中产生不一致肢体长度的模型。SkeletonDiffusion在三个真实世界的数据集上设立了新的基准，在多个评估指标上超越了各种基线方法。

总结: SkeletonDiffusion模型通过非各向同性高斯扩散方法，有效提升了3D人体运动预测的逼真性和一致性。

###【arXiv编号】2501.06035v1

###【git】无

###【期刊】arXiv预印本

链接1

摘要: 非刚性配准对于医学图像分析至关重要，但由于扩散MRI（dMRI）的高维和方向依赖特性，仍然具有挑战性。虽然经典方法精确，但计算需求较高，而深度神经网络虽然高效，但在非刚性dMRI配准方面的研究相较于结构成像仍然不足。本文提出了一种新颖的深度学习框架，用于原始扩散MRI数据的无模型非刚性配准，无需显式重新定向。不同于依赖衍生表示（如扩散张量或纤维方向分布函数）的先前方法，我们的方法将配准表述为位置和方向空间的协变微分同胚。方法的核心是一个 $\mathsf{SE}(3)$ -协变的UNet，能够生成速度场，同时保持原始dMRI域的几何特性。我们引入了一种基于傅里叶空间最大均值差异的新损失函数，隐式匹配图像间的集合平均传播子。在Human Connectome Project dMRI数据上的实验结果表明，本文方法在性能上与最先进的方法具有竞争力，并且具有绕过估计衍生表示的额外优势。这项工作为在采集空间内进行数据驱动、几何感知的dMRI配准奠定了基础。

总结: 本文提出了一种基于 $\mathsf{SE}(3)$ -协变UNet的深度学习框架，实现了无需模型和衍生表示的高效扩散MRI非刚性配准，为医学图像分析提供了新的方法基础。

###【arXiv编号】
2501.04794v2

###【git】

###【期刊】

###【领域】

医学图像分析
计算机视觉
机器学习

[推荐指数：4]

=====

—第29篇----

=====

BRIGHT: A globally distributed multimodal building damage assessment dataset with very-high-resolution for all-weather disaster response

🔍 关键词: 计算机视觉, 人工智能, 图像与视频处理, 信号处理

PDF链接

摘要: 灾害事件在全球范围内发生，对人类生命和财产造成重大损失。地球观测（EO）数据能够实现快速且全面的建筑物损伤评估（BDA），这是灾害发生后减少人员伤亡和指导救灾工作的重要能力。近期的研究集中于开发人工智能模型，以实现对未见灾害事件的准确绘制，主要使用光学EO数据。然而，基于光学数据的解决方案仅限于晴天和白天，阻碍了对灾害的及时响应。整合多模态（MM）EO数据，特别是光学和合成孔径雷达（SAR）图像的组合，使得全天候、昼夜的灾害响应成为可能。尽管具有这种潜力，但稳健的多模态AI模型的发展受到合适基准数据集缺乏的限制。本文提出了一个使用高分辨率光学和SAR图像的建筑物损伤评估数据集（BRIGHT），以支持基于AI的全天候灾害响应。据我们所知，BRIGHT是首个开放访问的、全球分布的、事件多样的多模态数据集，专门为支持基于AI的灾害响应而策划。它涵盖了全球12个地区的五种自然灾害和两种人为灾害，特别关注最需要外部援助的发展中国家。BRIGHT中的光学和SAR图像，空间分辨率介于0.3-1米之间，提供了单个建筑物的详细表示，使其非常适合精确的建筑物损伤评估。在实验中，我们测试了七种先进的AI模型，这些模型使用我们的BRIGHT进行了训练，以验证其可迁移性和稳健性。数据集和代码可在https://github.com/ChenHongruixuan/BRIGHT获取。BRIGHT也作为2025年IEEE GRSS数据融合竞赛的官方数据集。

总结: 该研究通过集成注意机制的深度学习模型显著提高了皮肤病变分类的准确性，为医疗诊断提供了有效支持。

###【arXiv编号】2501.05991v1

###【git】https://github.com/akabircs/Skin-Lesions-Classification

###【期刊】未提供

###【领域】计算机视觉、医疗诊断

[推荐指数：4]

该研究综合多种先进的深度学习模型及注意机制，成果在皮肤病变分类方面表现优异，具有较高的创新性和实用性，代码和数据公开，可供进一步研究参考。

—第37篇----

=====

Learning a Consensus Sub-Network with Polarization Regularization and One Pass Training

🔍 关键词: 绿色人工智能, 网络剪枝, 极化正则化, 一次性训练, 深度学习

PDF链接

摘要: 绿色人工智能在深度学习社区中日益受到关注，原因是近年来神经网络模型日益庞大和复杂。现有的减轻训练和推理时计算负担的解决方案通常涉及剪枝网络参数。剪枝方案往往通过静态剪枝的迭代训练和微调或动态剪枝图的重复计算，产生额外的开销。我们提出了一种新的参数剪枝策略，用于学习一个更轻量级的子网络，最大限度地减少能耗，同时在给定下游任务上保持与完全参数化网络相当的性能。我们提出的剪枝方案以绿色为导向，仅需一次性训练即可通过动态剪枝方法发现最佳的静态子网络。该剪枝方案包括一个二值门控模块和一个极化损失函数，以发掘具有用户定义稀疏性的子网络。我们的方法实现了剪枝和训练的同时进行，节省了训练和推理阶段的能源，并避免了推理时门控模块带来的额外计算开销。我们在CIFAR-10、CIFAR-100和Tiny Imagenet上的结果表明，我们的方案可以在深度网络中移除50%的连接，分类准确率下降不到1%。与其他相关剪枝方法相比，我们的方法在相同的计算成本减少下表现出更低的准确率下降。
总结: 本文提出了一种绿色导向的网络剪枝策略，通过一次性训练和极化正则化，实现了在保持高准确率的同时大幅减少网络参数和能耗。

###【arXiv编号】2302.10798v5
###【git】
###【期刊】
###【领域】计算机科学（机器学习，计算机视觉），绿色人工智能，深度学习优化

[推荐指数：4]

该研究在绿色人工智能领域提出了一种创新的网络剪枝方法，能够有效减少模型参数和能耗，同时保持较高的准确率，具有较高的实用价值和创新性，适合相关领域的研究和应用参考。

—第38篇----

=====

Swin-X2S: 通过Swin Transformer从二维双平面X射线重建3D形状

🔍 关键词: 计算机视觉, 深度学习, 3D重建, Swin Transformer, 医学影像

PDF链接 | 代码仓库

摘要: 从二维X射线转换为三维形状在提高诊断效率和安全性方面具有重要潜力。然而，现有的重建方法通常依赖于手工设计的特征、人工干预和先验知识，导致形状误差不稳定和额外的处理成本。在本文中，我们介绍了Swin-X2S，这是一种端到端的深度学习方法，能够直接从二维双平面正交X射线图像重建三维分割和标注。Swin-X2S采用编码器-解码器架构：编码器利用二维Swin Transformer提取X射线信息，而解码器则采用带有交叉注意力的三维卷积来整合来自正交视图的结构特征。引入了一个维度扩展模块，桥接编码器和解码器，确保从二维像素到三维体素的平滑转换。我们通过在涵盖四种解剖学（股骨、髋部、脊柱和肋骨）的九个公开数据集上进行广泛的定性和定量实验，评估了所提出的方法，共涉及54个类别。与之前的方法相比，我们的方法不仅在分割和标注指标上有显著改进，而且在临床实践中主要关注的临床相关参数上也表现出色，这证明了Swin-X2S在临床场景下提供有效的解剖形状重建选项的潜力。代码实现可在以下地址获取: https://github.com/liukuan5625/Swin-X2S。

总结: Swin-X2S通过Swin Transformer实现了从二维双平面X射线图像到3D形状的高效重建，大幅提升了医学诊断的准确性和效率。

###【arXiv编号】2501.05961v1

###【git】https://github.com/liukuan5625/Swin-X2S

###【期刊】暂无

###【领域】计算机视觉, 医学影像

[推荐指数：4]

Swin-X2S提出了一种创新的端到端深度学习架构，利用Swin Transformer实现从二维X射线到三维形状的直接重建，显著提升了分割和标注的准确性，具有较高的创新性和实用性，适用于临床医疗影像分析。

—第39篇----

=====

Scalable Vision Language Model Training via High Quality Data Curation

🔍 关键词: 视觉语言模型, 数据策划, 预训练, 机器学习

###【arXiv编号】2501.03916v2
###【git】
###【期刊】
###【领域】计算机科学

[推荐指数：4]

=====

—第43篇----

=====

Class Distance Weighted Cross Entropy Loss for Classification of Disease Severity

🔍 关键词:

链接1

摘要: 评估涉及序数类别的疾病严重程度，其中每个类别代表逐渐增加的严重程度，受益于考虑这种序数结构的损失函数。传统的分类损失函数，如交叉熵（CE），在这些情况下往往表现不佳。为了解决这一问题，我们提出了一种新颖的损失函数，类距离加权交叉熵（CDW-CE），它在类别距离较远时对误分类惩罚更严厉。我们在Labeled Images for Ulcerative Colitis（LIMUC）数据集上使用各种深度架构评估了CDW-CE的性能。其性能与几种分类和序数损失函数进行了比较。为了分析潜在表示的质量，我们使用了t分布随机邻域嵌入（t-SNE）可视化并通过轮廓系数（Silhouette Score）量化其聚类情况。我们还比较了使用CDW-CE和CE损失训练的模型生成的类激活图（CAM），并结合领域专家的反馈来评估其与专家知识的一致性。我们的结果表明，CDW-CE在序数图像分类任务中始终提高了性能。它实现了更高的轮廓系数，表明类别表示的区分性更好，其CAM可视化显示出更强的关注临床重要区域，这一点得到了领域专家的确认。
总结: CDW-CE损失函数在序数图像分类任务中提高了分类性能和类别表示的区分性，并更好地对齐了临床重要区域。

###【arXiv编号】2412.01246v2
###【git】
###【期刊】
###【领域】计算机视觉

[推荐指数：4]

本研究提出了一种新颖的损失函数CDW-CE，针对序数类别的疾病严重度分类任务显著提升了分类性能和类别表示的区分性，并得到了临床专家的认可，展示出较高的创新性和实用性。

—第44篇----

=====

A Multimodal Dataset for Enhancing Industrial Task Monitoring and Engagement Prediction

🔍 关键词: 多模态数据集, 工业任务监控, 参与度预测, 人机协作, 计算机视觉

PDF Link

摘要: 在动态工业工作流程中，检测和解释操作员的动作、参与度和物体交互仍然是人机协作研究中的重大挑战，特别是在复杂的现实环境中。传统的单一模态方法常常无法捕捉这些无结构工业环境的复杂性。为了解决这一问题，我们提出了一个新颖的多模态工业活动监控(MIAM)数据集，该数据集捕捉了真实的组装和拆卸任务，促进了关键元任务的评估，如动作定位、物体交互和参与度预测。该数据集包括22个会话收集的多视角RGB、深度和惯性测量单元(IMU)数据，总计290分钟的未经剪辑的视频，并详细注释了任务执行和操作员行为。其独特之处在于整合了多种数据模态，并强调了现实、未经剪辑的工业工作流程，这对于推动人机协作和操作员监控研究至关重要。此外，我们提出了一个融合RGB帧、IMU数据和骨架序列的多模态网络，以预测工业任务中的参与度水平。我们的方法提高了参与状态识别的准确性，为动态工业环境中操作员性能监控提供了一个稳健的解决方案。该数据集和代码可从https://github.com/navalkishoremehta95/MIAM/获取。
总结: 该研究通过引入多模态数据集和融合网络，显著提升了工业任务中操作员参与度的监控与预测能力。
###【arXiv编号】2501.05936v1
###【git】https://github.com/navalkishoremehta95/MIAM/
###【期刊】
###【领域】计算机视觉

[推荐指数：4]

该论文提出了一个多模态数据集，并结合创新的融合网络，有助于提升工业任务监控和参与度预测的研究，实用性和创新性较高，但尚需进一步验证其在实际应用中的表现。

—第45篇----

=====

CloudTrack: Scalable UAV Tracking with Cloud Semantics

🔍 关键词: cs.RO, cs.CV

链接1

摘要: 如今，无人机（UAV）在搜索与救援场景中被广泛用于收集搜索区域的信息。在航空视频中自动识别被搜索的人员可以提高系统的自主性，缩短搜索时间，从而增加失踪人员的生存机会。本文提出了一种新颖的方法，用于执行语义条件的开放词汇对象跟踪，专门设计以应对无人机硬件的限制。我们的方法具有多个优点。它可以通过口头描述（例如衣服的颜色）来运行，不需要专门的训练即可执行任务，并且能够有效跟踪可能移动的人员。我们的实验结果证明了该方法的多样性和有效性。
总结: 提出了一种适用于受限无人机硬件的语义条件开放词汇对象跟踪方法，提升了搜索与救援任务的效率和自主性。

###【arXiv编号】arXiv:2409.16111v2
###【git】
###【期刊】
###【领域】计算机视觉，机器人学，智能交通

[推荐指数：4]

=====

—第46篇----

=====

Weakly Supervised Segmentation of Hyper-Reflective Foci with Compact Convolutional Transformers and SAM2

🔍 关键词: 计算机视觉 (cs.CV)

PDF链接

摘要: 弱监督分割有潜力大幅减少训练用于小结构（如光学相干断层扫描中的高反射焦点（HRF））的分割模型的标注工作。然而，大多数弱监督方法要么涉及对输入图像的强下采样，要么仅实现粗分辨率的定位，这两者对于小结构来说都不理想。我们提出了一个新框架，通过使用层级相关性传播（LRP）提示“Segment Anything Model (SAM2)”，并通过迭代推理增加召回率，从而提高了传统基于注意力的多实例学习（MIL）方法的空间分辨率。此外，我们证明用紧凑卷积变压器（CCT）替换MIL，该变压器增加了位置编码，并允许交换OCT图像不同区域之间的信息，从而进一步显著提高了分割准确性。

总结: 本文提出了一种结合紧凑卷积变压器和SAM2的新框架，有效提升了光学相干断层扫描中高反射焦点的弱监督分割准确性。

###【arXiv编号】2501.05933v1

###【git】

###【期刊】

###【领域】计算机视觉

[推荐指数：4]

该研究提出了一种创新性框架，结合变压器和SAM2模型，有效提高了医学成像中小结构的分割准确性，具有较高的实用性和应用潜力。

—第47篇----

=====

文章名称

Neural Differential Appearance Equations

🔍 关键词: cs.CV, cs.GR, cs.LG

PDF链接

摘要: 我们提出了一种方法，以生成具有时变视觉统计数据的空间稳定但时间变化的动态外观纹理。虽然大多数先前工作将动态纹理分解为静态外观和运动，我们专注于由于基本属性（如生锈、腐蚀、融化和风化）的变化而产生的动态外观。为此，我们采用神经常微分方程（ODE）从目标样本中学习外观的潜在动态。我们在两个阶段模拟ODE。在“预热”阶段，ODE将随机噪声扩散到初始状态。然后，我们约束此ODE的进一步演化，以复制生成阶段样本中视觉特征统计的演变。该工作的创新在于神经ODE实现了去噪和演化以进行动态合成，并提出了一个时间训练方案。我们研究了可重新照明（BRDF）和不可重新照明（RGB）外观模型。对于两者，我们引入了新的初步数据集，首次允许研究此类现象：对于RGB，我们提供了22个来自免费在线资源的动态纹理；对于BRDF，我们进一步获取了21个时间变化材料的闪光视频数据集，这得益于一个易于构建的设置。我们的实验表明，我们的方法在显著的时间外观变化下始终产生真实且连贯的结果，而先前工作在这种情况下表现不佳。用户研究确认在这些实例下，我们的方法优于先前工作。
总结: 本文提出了一种利用神经常微分方程生成时变动态外观纹理的新方法，优于现有技术。

###【arXiv编号】
2410.07128v2

###【git】
未提供

###【期刊】
未发表或未提供

###【领域】
计算机视觉、图形学、机器学习

[推荐指数：4]

该研究创新性地应用神经常微分方程生成时变动态外观纹理，并通过新数据集和实验验证了方法的优越性，具有较高的应用价值。

—第48篇----

Chimera: 提升通用模型的领域特定专家集成

🔍 关键词: 大型多模态模型、领域特定专家、逐步训练策略、GSCM机制、多模态推理、视觉内容提取

PDF链接

摘要: 近期大型多模态模型（LMMs）的进展强调了通过增加图像-文本配对数据进行扩展的重要性，在通用任务上取得了令人印象深刻的表现。尽管它们在广泛的应用中表现有效，但通用模型主要在由自然图像主导的网络规模数据集上训练，导致在需要广泛领域先验知识的特定领域任务上牺牲了专业化能力。此外，由于表示上的差距和通用模型与专家模型之间的不平衡优化，直接整合为特定领域定制的专家模型具有挑战性。为解决这些挑战，我们引入了Chimera，这是一种可扩展且低成本的多模态管道，旨在通过领域特定专家增强现有的大型多模态模型。具体而言，我们设计了一种逐步训练策略，将专家模型的特征集成到通用大型多模态模型的输入中。为了应对由良好对齐的通用视觉编码器引起的不平衡优化，我们引入了一种新颖的通用-专家协作遮蔽（GSCM）机制。这导致了一个多功能模型，在图表、表格、数学和文档领域表现出色，在多模态推理和视觉内容提取任务上达到了最新的性能，这些任务都是评估现有大型多模态模型的挑战性任务。

总结: Chimera通过结合领域特定专家和通用大模型，实现了在多模态推理和视觉内容提取任务上的先进性能。

###【arXiv编号】2412.05983v2

###【git】无

###【期刊】无

###【领域】计算机视觉

[推荐指数：4]

Chimera提出了一种创新的多模态模型增强方法，通过领域特定专家集成，大幅提升了模型在特定任务上的表现，具有较高的实用性和创新性。

—第49篇----

=====

GeoX: Geometric Problem Solving Through Unified Formalized Vision-Language Pre-training

🔍 关键词: cs.CV, cs.CL

链接1

摘要: 尽管多模态大型语言模型（MLLMs）在通用任务中表现出色，但它们在自动几何问题求解（GPS）方面仍然存在困难，这需要理解图表、解释符号并进行复杂推理。这一限制源于它们在自然图像和文本上的预训练，以及问题解决过程中缺乏自动验证。此外，当前的几何专家由于其任务特定的设计，在处理更广泛的几何问题时效果不佳。为此，我们提出了GeoX，一个专注于几何理解和推理任务的多模态大型模型。鉴于几何图表符号与自然图像文本之间的显著差异，我们引入了单模态预训练，以开发图表编码器和符号解码器，增强对几何图像和语料库的理解。此外，我们引入了几何-语言对齐，这是一种有效的预训练范式，弥合了单模态几何专家之间的模态差距。我们提出了生成器与采样器转换器（GS-Former），以生成区分性查询并消除来自分布不均的几何信号的不具信息量的表示。最后，GeoX 受益于视觉指令调优，使其能够接受几何图像和问题作为输入，并生成可验证的解决方案。实验表明，GeoX 在公认的基准测试（如GeoQA、UniGeo、Geometry3K和PGPS9k）上超越了通用模型和几何专家。
总结: GeoX通过统一的视觉-语言预训练，有效提升了几何问题求解的理解和推理能力，超越了现有的通用和专业模型。

###【arXiv编号】2412.11863v2
###【git】
###【期刊】
###【领域】计算机视觉、计算语言学

[推荐指数：4]

GeoX在几何理解和推理任务中展示了显著的创新性和实用性，通过引入多模态预训练和几何-语言对齐，显著提升了模型在相关基准上的表现，适用于智慧交通和自动驾驶等领域的几何分析需求。

—第50篇----

=====

Backdoor Attacks against No-Reference Image Quality Assessment Models via a Scalable Trigger

🔍 关键词: 无参考图像质量评估, 后门攻击, 离散余弦变换, 逆向攻击, 通用对抗扰动

PDF链接

摘要: 无参考图像质量评估（NR-IQA）负责在无需任何参考的情况下评估单个输入图像的质量，在评估和优化计算机视觉系统（如低光照增强）中起着关键作用。近期研究表明，NR-IQA模型容易受到对抗性攻击，这些攻击可以通过肉眼难以察觉的扰动显著改变预测分数。尽管揭示了这些脆弱性，但现有的攻击方法存在计算需求高、操控目标不明确、在白盒场景下实用性有限以及在黑盒场景下效果减弱等限制。为了解决这些挑战，我们转向另一种重要威胁，提出了一种新颖的基于中毒的后门攻击（BAIQA），允许攻击者通过简单调整触发器的缩放系数α，将IQA模型的输出操控为任意期望的目标值。我们建议在离散余弦变换（DCT）域中注入触发器，以提高触发器的局部不变性，防止由于广泛采用的数据增强而导致的NR-IQA模型中的触发器减弱。此外，我们在DCT空间中设计了通用对抗扰动（UAP）作为触发器，以增加IQA模型对操控的敏感性并提高攻击效果。除了基于标签中毒的启发式方法P-BAIQA外，我们还探索了基于清洁标签的BAIQA（C-BAIQA）的设计，重点关注α采样和图像数据优化，这些设计受到我们揭示的理论见解的驱动。在多样化的数据集和各种NR-IQA模型上的大量实验证明了我们攻击的有效性。代码可在GitHub找到。
总结: 本文提出了一种新颖且高效的基于中毒的后门攻击方法，显著增强了对无参考图像质量评估模型的操控能力，并通过实验证明了其有效性。
###【arXiv编号】2412.07277v2
###【git】https://github.com/yuyi-sd/BAIQA
###【期刊】未提供
###【领域】计算机科学，计算机视觉，信息安全

[推荐指数：4]

=====

—第51篇----

PGSR：基于平面的高斯点云用于高效和高保真表面重建

🔍 关键词: 高斯点云, 表面重建, 渲染, 计算机视觉

链接1

摘要: 近年来，3D高斯点云（3DGS）因其高质量的渲染以及极快的训练和渲染速度而受到广泛关注。然而，由于高斯点云的无结构和不规则性，单纯依赖图像重建损失难以保证几何重建的精确性和多视角一致性。尽管近期出现了许多基于3DGS的表面重建研究，但它们的网格质量通常不尽如人意。为了解决这一问题，我们提出了一种快速的基于平面的高斯点云重建表示（PGSR），以实现在保证高质量渲染的同时实现高保真的表面重建。具体而言，我们首先引入了一种无偏的深度渲染方法，该方法基于高斯点云的分布，直接渲染从相机原点到高斯平面的距离及相应的法线图，并将两者分离以获得无偏深度。然后，我们引入了单视图几何、多视图光度以及几何正则化来保持全局几何精度。我们还提出了一种相机曝光补偿模型，以应对具有大光照变化的场景。对室内和室外场景的实验表明，我们的方法在保持高保真渲染和几何重建的同时，实现了快速的训练和渲染，优于基于3DGS和NeRF的方法。

总结: 该研究提出了一种基于平面高斯点云的高效高保真表面重建方法，实现了快速训练和渲染，并在多项实验中优于现有方法。

###【arXiv编号】2406.06521v2

=====

Valley2: 探索具有可扩展视觉语言设计的多模态模型

🔍 关键词: 多模态模型, 视觉语言, 电子商务, 短视频

PDF链接

摘要: 近年来，视觉语言模型取得了显著进展，在图像字幕生成和视频理解等多种任务中展示了优秀的能力。我们介绍了Valley2，这是一种新型的多模态大型语言模型，旨在提升所有领域的性能，并扩展电子商务和短视频场景中的实际应用边界。值得注意的是，Valley2在电子商务基准测试上实现了最先进（SOTA）的性能，远超同规模的开源模型（79.66 vs. 72.76）。此外，Valley2在参数少于10B的模型中，在OpenCompass排行榜上排名第二，平均得分达67.4。代码和模型权重已在GitHub上开源。

总结: Valley2是一种创新性的多模态大型语言模型，显著提升了电子商务和短视频领域的应用性能。

###【arXiv:2501.05901v1】

###【git: https://github.com/bytedance/Valley】

###【期刊】未发布

###【领域】计算机视觉、多模态模型、电子商务、短视频

[推荐指数：5]

=====

—第55篇----

EDNet: Edge-Optimized 小目标检测于无人机影像 —— 更快的上下文注意力、更好的特征融合与硬件加速

🔍 关键词: 小目标检测, 无人机影像, 实时应用, YOLOv10, 特征融合, 硬件加速

PDF链接

摘要: 在无人机影像中检测小目标具有挑战性，原因包括低分辨率、复杂背景以及动态场景。我们提出了EDNet，这是一种基于增强型YOLOv10架构的新型边缘目标检测框架，优化用于无需后处理的实时应用。EDNet结合了XSmall检测头和Cross Concat策略，以改进特征融合和多尺度上下文感知，从而在多样化环境中检测微小目标。我们独特的C2f-FCA模块采用更快的上下文注意力来增强特征提取，同时降低计算复杂度。WIoU损失函数用于改进边界框回归。EDNet提供七种模型大小，从Tiny到XL，以适应各种部署环境，实现本地实时推理并确保数据隐私。值得注意的是，EDNet在mAP@50上提高了高达5.6%，且参数显著减少。在iPhone 12上，EDNet的不同变体运行速度在16到55 FPS之间，为在具有挑战性的无人机影像中进行边缘物体检测提供了可扩展且高效的解决方案。源代码和预训练模型可在GitHub获取。
总结: EDNet通过优化YOLOv10架构，实现了在无人机影像中高效且实时的小目标检测，显著提升了检测精度与运行速度。
###【arXiv编号】
2501.05885v1
###【git】
https://github.com/zsniko/EDNet
###【期刊】
arXiv预印本
###【领域】
计算机视觉, 人工智能, 机器学习

[推荐指数：4]

=====

—第58篇----

=====

Gender Bias in Text-to-Video Generation Models: A case study of Sora

🔍 关键词: cs.CV, cs.AI, cs.CY, cs.LG

PDF链接

摘要: 文本到视频生成模型的出现革命性地改变了内容创作，因为它能够根据文本提示生成高质量的视频。然而，这类模型中固有的偏见问题引起了关注，特别是在性别代表性方面。我们的研究调查了OpenAI的Sora这一先进的文本到视频生成模型中性别偏见的存在。通过分析来自多样化的性别中立和刻板提示生成的视频，我们发现了显著的偏见证据。结果表明，Sora不成比例地将特定性别与刻板行为和职业联系在一起，这反映了其训练数据中嵌入的社会偏见。

总结: 本研究揭示了Sora文本到视频生成模型中存在显著的性别偏见，反映了训练数据中的社会偏见。

###【arXiv:2501.01987v2】

###【期刊】

—第61篇----

=====

VideoRAG: Retrieval-Augmented Generation over Video Corpus

🔍 关键词: 检索增强生成, 视频语料库, 大型视频语言模型, 多模态知识

链接1

摘要: 检索增强生成（RAG）是一种强大的策略，用于解决基础模型生成事实错误输出的问题，通过检索与查询相关的外部知识并将其整合到生成过程中。然而，现有的RAG方法主要集中在文本信息上，最近的一些进展开始考虑图像，但它们在很大程度上忽视了视频，视频是一种丰富的多模态知识来源，能够比任何其他模态更有效地表示事件、过程和上下文细节。虽然最近有一些研究探索了在响应生成过程中整合视频，它们要么预定义与查询相关联的视频，而不是根据查询动态检索视频，要么将视频转换为文本描述，而没有利用视频的多模态丰富性。为了解决这些问题，我们引入了VideoRAG，一个新颖的框架，不仅根据与查询的相关性动态检索相关视频，还在输出生成中利用视频的视觉和文本信息。此外，为了实现这一点，我们的方法围绕大型视频语言模型（LVLMs）的最新进展，这些模型能够直接处理视频内容以用于检索和将检索到的视频与查询无缝整合。我们通过实验证明了VideoRAG的有效性，展示了其优于相关基线的方法。
总结: VideoRAG提出了一种动态检索视频并结合视觉和文本信息进行生成的新框架，显著优于现有方法。

###【arXiv:2501.05874v1】
###【git】
###【期刊】
###【领域】计算机视觉, 人工智能, 计算语言学, 信息检索, 机器学习

[推荐指数：4]

VideoRAG在检索增强生成方法中首次有效整合视频作为多模态知识源，展示出较高的创新性和实用性，具有广泛的应用潜力。

—第62篇----

MC-VTON: Minimal Control Virtual Try-On Diffusion Transformer

🔍 关键词: 计算机视觉, 虚拟试衣, 扩散模型, Transformer

链接1

摘要: 基于扩散模型的虚拟试衣方法能够实现逼真的试衣效果。它们使用额外的参考网络或附加的图像编码器来处理多个条件图像输入，这增加了预处理的复杂性和额外的计算成本。此外，它们需要超过25步的推理步骤，导致更长的推理时间。在本研究中，随着扩散Transformer（DiT）的发展，我们重新思考了是否需要额外的参考网络或图像编码器，并推出了MC-VTON，它利用DiT的内在骨干网络无缝集成了最小化的条件试衣输入。与现有方法相比，MC-VTON在四个方面展示了其优越性：（1）卓越的细节保真度。我们基于DiT的MC-VTON在保持细粒度细节方面表现出色；（2）简化的网络和输入。我们移除了任何额外的参考网络或图像编码器。我们还移除了不必要的条件，如长提示、姿态估计、人类解析和深度图。我们仅需要掩膜人物图像和服装图像；（3）参数高效的训练。为处理试衣任务，我们仅对FLUX.1-dev进行了微调，增加了仅39.7M参数（占骨干网络参数的0.33%）；（4）更少的推理步骤。我们对MC-VTON应用了蒸馏扩散，仅需8步即可生成逼真的试衣图像，增加了仅86.8M参数（占骨干网络参数的0.72%）。实验表明，MC-VTON在条件输入数量、可训练参数和推理步骤上比基线方法更少，同时在定性和定量结果上表现更优越。
总结: MC-VTON通过利用扩散Transformer简化了虚拟试衣的网络结构和输入条件，同时提升了细节保真度和推理效率。

###【arXiv编号】2501.03630v2
###【git】
###【期刊】
###【领域】计算机视觉

[推荐指数：4]

因其在虚拟试衣领域通过简化网络结构和减少推理步骤，实现了更高的细节保真度和效率，展示了创新性和实用性。

—第65篇----

=====

Identity-aware Feature Decoupling Learning for Clothing-change Person Re-identification

🔍 关键词: 服装变化, 人员再识别, 身份感知, 特征解耦, 注意力机制

链接1

摘要: 由于其应用前景，服装变化人员再识别（CC Re-ID）近年来备受关注。大多数现有研究在从原始RGB图像中充分提取与身份相关的信息方面存在困难。本文提出了一种身份感知特征解耦（IFD）学习框架来挖掘身份相关特征。具体而言，IFD利用由主流和注意力流组成的双流架构。注意力流以去除服装的图像作为输入，生成身份注意权重，有效地将空间知识传递到主流，并突出显示包含丰富身份相关信息的区域。为了消除两条流输入之间的语义差距，我们为主流提出了一个特定的服装偏差减弱模块，以规范与服装相关区域的特征。大量实验结果表明，我们的框架在多个广泛使用的CC Re-ID数据集上优于其他基线模型。
总结: 本文提出的身份感知特征解耦学习框架通过双流架构和服装偏差减弱模块，显著提升了服装变化情况下的人员再识别性能。

###【arXiv编号】2501.05851v1
###【git】
###【期刊】
###【领域】计算机视觉

[推荐指数：4]

该研究针对服装变化下的人员再识别问题，提出了创新的双流架构和特征解耦方法，实验证明其性能优于现有模型，具有较高的学术价值和实用性。

—第66篇----

=====

VLM-driven Behavior Tree for Context-aware Task Planning

🔍 关键词: 机器人学, 人工智能, 计算机视觉, 人机交互

链接1

摘要: 最近，使用大型语言模型（LLMs）生成行为树（BTs）在机器人社区中引起了关注，但仍处于早期发展阶段。本文提出了一个新颖的框架，利用视觉语言模型（VLMs）交互式生成和编辑行为树，解决视觉条件，从而使机器人能够在视觉复杂的环境中进行情境感知操作。我们方法的一个关键特性在于通过自提示的视觉条件进行条件控制。具体而言，VLM生成带有视觉条件节点的行为树，其中条件以自由文本表达。另一个VLM过程将文本集成到其提示中，并在机器人执行过程中根据真实世界的图像评估这些条件。我们在真实世界的咖啡馆场景中验证了我们的框架，展示了其可行性和局限性。

总结: 本文提出了利用视觉语言模型生成和编辑行为树的创新框架，实现在复杂视觉环境中的情境感知机器人操作。

###【arXiv编号】
2501.03968v2

###【git】
无

链接1

摘要: 设计有效的神经网络需要调整架构元素。本研究通过将分数阶微积分整合到神经网络中，引入分数阶导数（FDO）作为激活函数的可调参数，通过调整FDO允许多样化的激活函数。我们在各种数据集和网络架构上评估这些分数阶激活函数，将其性能与传统和新型激活函数进行比较。我们的实验评估了它们对准确性、时间复杂性、计算开销和内存使用的影响。结果表明，分数阶激活函数，特别是分数阶Sigmoid，在某些情况下具有优势。仍然存在与一致性和效率相关的挑战。讨论了实用意义和局限性。

总结: 本文通过引入分数阶导数改进激活函数，展示了在特定场景下增强神经网络性能的潜力。

###【arXiv编号】2310.11875v2

###【git】

###【期刊】

###【领域】计算机科学

[推荐指数：4]

=====

—第70篇----

=====

MoColl: 基于代理的特定与通用模型协作用于图像描述

🔍 关键词: cs.CV, cs.AI

链接1

摘要: 图像描述是计算机视觉和自然语言处理交叉的关键任务，在各个领域有广泛的应用。对于复杂任务，如诊断报告生成，深度学习模型不仅需要领域特定的图像描述数据集，还需要结合相关的通用知识以提供上下文的准确性。现有方法存在固有的局限性：专业模型在捕捉领域特定细节方面表现出色，但缺乏泛化能力，而基于大型语言模型（LLM）的视觉语言模型（VLM）则利用通用知识，但在领域特定的适应性方面存在困难。为了解决这些限制，本文提出了一种新颖的增强代理模型协作框架，称为MoColl，旨在有效整合领域特定和通用知识。具体而言，我们的方法是将复杂的图像描述任务分解为一系列相互关联的问答子任务。训练有素的视觉问答（VQA）模型被用作专门工具，专注于基于图像内容的领域特定视觉分析，回答任务特定的问题。同时，基于LLM的代理具有通用知识，负责制定这些问题并将生成的问答对综合成连贯的描述。除了利用VQA模型的角色外，代理还指导其训练以增强其领域特定能力。在放射学报告生成的实验结果验证了所提出框架的有效性，显著提高了生成报告的质量。

链接1

摘要: 目的：糖尿病视网膜病变（DR）是导致视力丧失的主要原因，尤其在印度，农村地区的视网膜专家资源有限。本研究旨在评估基于人工智能的糖尿病视网膜病变筛查系统（AIDRSS）在DR检测和流行率评估方面的效果，满足资源有限环境中对可扩展自动筛查解决方案日益增长的需求。
方法：在印度加尔各答进行了一项多中心、横断面研究，涉及5029名参与者和10058张以黄斑为中心的视网膜基底照片。AIDRSS采用了具有5000万可训练参数的深度学习算法，并结合了限定对比度的自适应直方图均衡化（CLAHE）预处理以提升图像质量。DR的分级使用国际临床糖尿病视网膜病变（ICDR）量表，将疾病分为五个阶段（DR0至DR4）。统计指标包括敏感性、特异性和流行率，评估与专家视网膜专科医师评估的对比。
结果：普通人群中DR的流行率为13.7%，在血糖水平升高的个体中上升至38.2%。AIDRSS的整体敏感性达到92%，特异性为88%，对可转诊性DR（DR3和DR4）的敏感性为100%。这些结果显示该系统在准确识别和分级不同人群中DR方面具有强大的性能。
结论：AIDRSS为在资源受限环境中早期检测DR提供了可靠且可扩展的解决方案。其先进的AI技术集成确保了高诊断准确性，具有显著减少糖尿病相关视力丧失负担的潜力，特别是在欠缺服务的地区。
总结: AIDRSS通过先进的人工智能技术在印度实现了糖尿病视网膜病变的高效、准确筛查，具有显著的应用潜力。

###【arXiv编号】2501.05826v1
###【git】
###【期刊】
###【领域】智慧医疗

[推荐指数：4]

该研究展示了AIDRSS系统在资源有限地区进行糖尿病视网膜病变筛查的高精度和可扩展性，具有较强的创新性和实用性，对减少糖尿病相关视力损失具有重要意义。

—第74篇----

=====

PersonaHOI: Effortlessly Improving Personalized Face with Human-Object Interaction Generation

🔍 关键词: 个性化人脸生成, 稳定扩散模型, 人体-物体交互

arXiv PDF

摘要: 我们介绍了PersonaHOI，一个无需训练和调整的框架，将通用的StableDiffusion模型与个性化人脸扩散（PFD）模型融合，以生成身份一致的人体-物体交互（HOI）图像。虽然现有的PFD模型已经有了显著进展，但它们往往过度强调面部特征，牺牲了全身的一致性，PersonaHOI引入了一个由HOI导向文本输入指导的额外StableDiffusion（SD）分支。通过在PFD分支中引入交叉注意力约束，并在潜在和残差层面进行空间合并，PersonaHOI在保持个性化面部细节的同时，确保了交互的非面部区域。一项由新颖的交互对齐指标验证的实验表明，PersonaHOI在现实感和可扩展性方面具有卓越的表现，确立了个性化面部与HOI生成的实用新标准。我们的代码将提供在https://github.com/JoyHuYY1412/PersonaHOI。
总结: PersonaHOI通过融合稳定扩散模型和个性化人脸扩散模型，创新性地生成了身份一致且具备人体-物体交互的人像图像。
###【arXiv编号】arXiv:2501.05823v1
###【git】https://github.com/JoyHuYY1412/PersonaHOI
###【期刊】
###【领域】计算机视觉

[推荐指数：5]

PersonaHOI在个性化人脸生成与人体-物体交互方面展现出高度的创新性和实用性，提供了无需训练即可实现高质量图像生成的有效解决方案，具有显著的应用潜力。

—第75篇----

=====

HazeCLIP: Towards Language Guided Real-World Image Dehazing

🔍 关键词: HazeCLIP, 图像去雾, CLIP, 领域适应, 计算机视觉

链接1

摘要: 现有方法在图像去雾方面已经取得了显著的成果，特别是在合成数据集上。然而，由于领域差异，它们在处理真实世界的有雾图像时往往表现不佳，限制了其实用性。本文介绍了HazeCLIP，这是一种语言引导的适应框架，旨在提升预训练去雾网络在真实世界中的性能。受到对比语言-图像预训练（CLIP）模型区分有雾和清晰图像能力的启发，我们利用CLIP模型来评估去雾结果。结合区域特定的去雾技术和定制的提示集，CLIP模型准确识别有雾区域，提供高质量、类似人类的先验知识，引导预训练网络的微调过程。大量实验证明，HazeCLIP在真实世界图像去雾方面达到了最先进的性能，通过视觉质量和图像质量评估指标进行评估。代码可在https://github.com/Troivyn/HazeCLIP获取。
总结: HazeCLIP通过结合CLIP模型和区域特定去雾技术，显著提升了预训练去雾网络在真实世界图像中的表现。

###【arXiv编号】2407.13719v2
###【git】https://github.com/Troivyn/HazeCLIP
###【期刊】未指定
###【领域】计算机视觉

[推荐指数：4]

=====

—第76篇----

=====

Static for Dynamic: Towards a Deeper Understanding of Dynamic Facial Expressions Using Static Expression Data

🔍 关键词: 动态面部表情识别, 静态面部表情识别, Vision Transformer, 自监督预训练, 多任务学习

PDF链接

摘要: 动态面部表情识别（DFER）通过表情的时间演变来推断情感，与仅依赖单一快照的静态面部表情识别（SFER）不同。时间分析提供了更丰富的信息，并有望提升识别能力。然而，当前的DFER方法由于训练样本较少，性能往往不尽如人意。鉴于静态和动态表情之间的内在相关性，我们假设利用丰富的SFER数据可以增强DFER。为此，我们提出了Static-for-Dynamic（S4D），一个统一的双模态学习框架，将SFER数据作为DFER的补充资源。具体而言，S4D采用共享的Vision Transformer（ViT）编码器-解码器架构，对面部图像和视频进行双模态自监督预训练，从而获得改进的时空表示。预训练的编码器随后在静态和动态表情数据集上进行多任务学习微调，以促进情感信息的交互。然而，研究发现传统的多任务学习会导致负迁移。为解决这一问题，我们提出了一种创新的Adapter Experts混合模块（MoAE），用于促进特定任务知识的获取，同时有效提取来自静态和动态表情数据的共享知识。大量实验表明，S4D加深了对DFER的理解，在FERV39K、MAFW和DFEW基准上设定了新的最先进性能，分别达到了53.65%、58.44%和76.68%的加权平均召回率（WAR）。此外，本文还系统地分析了SFER和DFER任务之间的相关性，进一步阐明了利用SFER的潜在益处。
总结: S4D框架通过融合静态和动态表情数据，显著提升了动态面部表情识别的性能，达到了新的最先进水平。
###【arXiv编号】
arXiv:2409.06154v2
###【git】
无
###【期刊】
无
###【领域】
计算机视觉，情感识别

[推荐指数：4]

该研究创新性地结合静态与动态表情数据，通过双模态自监督预训练和混合专家模块，有效提升了动态面部表情识别的性能，具有较高的学术和实用价值。

—第77篇----

=====

Efficient Progressive Image Compression with Variance-aware Masking

🔍 关键词: 逐步图像压缩, 遮蔽系统, 速率增强模块, 计算复杂度

PDF Link

摘要: 学习型逐步图像压缩正在获得越来越多的关注，因为它允许随着接收端解码的比特数增加而改善图像重构。我们提出了一种逐步图像压缩方法，其中图像首先被表示为一对基础质量和高质量的潜在表示。接下来，残差潜在表示被编码为顶部和基础表示之间的逐元素差异。我们的方案通过引入一个遮蔽系统，使残差潜在表示的每个元素从最重要到最不重要进行排序，并将其分成互补的组件，从而实现逐元素粒度的逐步图像压缩，这些组件可以分别传输给解码器，以获得不同的重构质量。该遮蔽系统不会增加额外的参数或复杂性。在接收端，任何未包含在传输组件中的顶部潜在表示的元素都可以独立地用超先验架构预测的均值替换，确保在任何中间质量级别上的可靠重构。我们还引入了速率增强模块（REMs），通过使用已解码的组件来细化熵参数的估计。我们的结果与最先进的竞争对手具有竞争力，同时显著降低了计算复杂性、解码时间和参数数量。

总结: 本文提出了一种高效的逐步图像压缩方法，通过遮蔽系统和速率增强模块在降低计算复杂度和参数数量的同时，实现了与最先进技术竞争的图像重构效果。

【arXiv编号】2411.10185

【领域】计算机视觉

Cryptanalysis of Cancelable Biometrics Vault

🔍 关键词: 密码学, 计算机视觉

链接1

摘要: 可撤销生物识别（Cancelable Biometrics, CB）代表了一系列结合生物特征和用户特定令牌以生成安全模板的生物识别转换方案。其要求的属性包括模板的不可逆性、不可链接性和识别准确性，同时使得模板可撤销。在生物识别中，密钥绑定方案用于使用生物特征数据保护加密密钥。只有在认证期间获取到正确的生物特征数据时，密钥才能被重新计算。密钥绑定方案的应用通常是磁盘加密，其中加密密钥用于加密和解密磁盘。本文对最近的基于可撤销生物识别的密钥绑定方案——可撤销生物识别保险库（Cancelable Biometrics Vault, CBV）进行了密码分析。更具体地说，本文攻击了用于实例化CBV框架的可撤销转换方法——BioEncoding方案，针对其模板的可逆性和可链接性进行分析。随后，我们的可链接性攻击使得无需额外假设即可恢复保险库中的密钥。我们的密码分析为CBV方案的可撤销性和可链接性漏洞提供了新的视角，这些漏洞在可比的基于生物识别的密钥绑定方案中尚未被发现。
总结: 本文通过密码分析揭示了可撤销生物识别保险库方案中此前未发现的可撤销性和可链接性漏洞。
###【arXiv编号】2501.05786v1
###【git】
###【期刊】
###【领域】密码学, 计算机视觉

[推荐指数：4]

本文对现有的生物识别密钥绑定方案进行了深入的密码分析，发现了关键的安全漏洞，为该领域的安全设计提供了重要的参考。

—第83篇----

======

Aria: An Open Multimodal Native Mixture-of-Experts Model

🔍 关键词: cs.CV

PDF链接

摘要: 信息以多种形式存在。多模态原生AI模型对于整合现实世界信息并提供全面理解至关重要。虽然存在专有的多模态原生模型，但它们的封闭性对采用，甚至适应，都造成了障碍。为填补这一空白，我们介绍了Aria，一种开放的多模态原生模型，在广泛的多模态、语言和编码任务中表现出一流的性能。Aria是一个专家混合模型，每个视觉令牌和文本令牌分别激活3.9B和3.5B参数。它超越了Pixtral-12B和Llama3.2-11B，并在各种多模态任务中与最好的专有模型竞争。我们按照四阶段流程从头开始预训练Aria，逐步赋予模型强大的语言理解、多模态理解、长上下文窗口和指令遵循能力。我们开源了模型权重以及一个便于在实际应用中轻松采用和适应Aria的代码库。
总结: Aria是一个开源的多模态AI模型，具有一流的性能和广泛的应用潜力。

[arXiv:2410.05993v4]

[]

[计算机视觉]

[推荐指数：4]

Aria在多模态AI领域提供了开源解决方案，展示了出色的性能和广泛的适用性，但在创新性方面还有提升空间。

—第84篇----

=====

文章名称

UV-Attack: Physical-World Adversarial Attacks for Person Detection via Dynamic-NeRF-based UV Mapping

🔍 关键词: 计算机视觉, 人工智能, 对抗攻击, 动态NeRF, 人体检测

链接1

摘要: 最近的研究中，使用补丁或基于静态3D模型的纹理修改对人体检测器进行对抗攻击由于人类动作的灵活性而成功率较低。建模各种动作引起的3D变形一直是一个主要挑战。幸运的是，动态神经辐射场（NeRF）在人类建模方面的进展提供了新的可能性。本文介绍了UV-Attack，这是一种突破性的方法，即使在广泛且未见过的人类动作下也能实现高成功率。我们通过利用基于动态NeRF的UV映射来解决上述挑战。UV-Attack能够在不同的动作和视角下生成人体图像，甚至通过从SMPL参数空间采样来创建新的动作。虽然动态NeRF模型能够对人体进行建模，但修改服装纹理具有挑战性，因为它们嵌入在神经网络参数中。为了解决这一问题，UV-Attack生成UV映射而非RGB图像，并修改纹理堆栈。这种方法实现了实时纹理编辑，使攻击更加实用。我们还提出了一种新颖的姿态变换期望损失（EoPT）以提高在未见过的姿态和视角上的规避成功率。实验表明，UV-Attack在动态视频设置中对FastRCNN模型的攻击成功率达到92.75%，显著优于仅有28.50% ASR的最先进AdvCamou攻击。此外，我们在黑盒环境下的最新YOLOv8检测器上实现了49.5% ASR。该研究突显了基于动态NeRF的UV映射在创建更有效的对抗攻击人体检测器方面的潜力，解决了建模人体运动和纹理修改的关键挑战。

总结: UV-Attack利用动态NeRF的UV映射技术，在多样的人体动作下实现了高成功率的对抗攻击。

【arXiv编号】: arXiv:2501.05783v1

【git】: 无

【期刊】: 无

【领域】: 计算机视觉, 人工智能

[推荐指数：4]

UV-Attack在对抗攻击领域具有高度创新性，通过动态NeRF技术显著提升了攻击成功率，具备强大的实用价值和研究意义。

—第85篇----

=====

StructSR: 通过拒绝虚假细节提高真实世界图像超分辨率

🔍 关键词: 图像超分辨率，扩散模型，结构保真

PDF链接

摘要: 基于扩散的模型在真实世界图像超分辨率（Real-ISR）方面显示出巨大的潜力，但由于这些模型的经验先验和幻觉，常常生成带有结构错误和虚假纹理细节的内容。为了解决这个问题，我们引入了StructSR，这是一种简单、有效且可即插即用的方法，能够提高结构保真度并压制基于扩散的Real-ISR中的虚假细节。StructSR在无需额外微调、外部模型先验或高级语义知识的情况下运行。其核心是结构感知筛选（SAS）机制，该机制在早期推理阶段识别与低分辨率（LR）输入具有最高结构相似性的图像，使我们能够将其作为历史结构知识以抑制虚假细节的生成。通过干预扩散推理过程，StructSR与现有的基于扩散的Real-ISR模型无缝集成。我们的实验结果表明，StructSR显著提高了结构和纹理的保真度，将PSNR和SSIM指标在合成数据集（DIV2K-Val）上平均提高了5.27％和9.36％，在两个真实世界数据集（RealSR和DRealSR）上与四种最先进的基于扩散的Real-ISR方法集成时分别提高了4.13％和8.64％。
总结: StructSR通过结构感知筛选机制，提升了基于扩散模型的真实世界图像超分辨率的结构保真度并抑制了虚假细节的生成。

###【arXiv:2501.05777】

###【期刊】

###【领域】计算机视觉

[推荐指数：4]

=====

—第86篇----

=====

Conditional Diffusion Model for Electrical Impedance Tomography

🔍 关键词: 电阻抗断层成像, 条件扩散模型, 图像重建, 非侵入式成像, 电压一致性

链接1

摘要: 电阻抗断层成像（EIT）是一种非侵入式成像技术，已广泛应用于工业检测、医学监测和触觉感知等领域。然而，由于EIT逆问题具有固有的非线性和病态性，重建图像对测量数据高度敏感，且重建图像中常出现随机噪声伪影，极大地限制了EIT的应用。为了解决这一问题，本研究提出了一种带有电压一致性的条件扩散模型（CDMVC）。该方法包括预成像模块、用于重建的条件扩散模型、前向电压约束网络以及在采样过程中实施电压一致性约束的方案。预成像模块用于生成初始重建结果，作为条件用于训练条件扩散模型。最后，基于前向电压约束网络，在采样阶段实施电压一致性约束，结合EIT的前向信息，从而提高成像质量。研究生成了更完整的数据集，包括常见和复杂的凹形。所提出的方法通过仿真和物理实验进行了验证。实验结果表明，我们的方法能够显著提高重建图像的质量。此外，实验结果还表明，我们的方法具有良好的鲁棒性和泛化性能。
总结: 本文提出了一种创新的条件扩散模型，有效提升了电阻抗断层成像的图像重建质量和鲁棒性。

###【arXiv:2501.05769v1】
###【git】: 无
###【期刊】: 未提供
###【领域】: 计算机视觉，非侵入式成像技术

[推荐指数：4]

提出了带有电压一致性的条件扩散模型，显著改善了EIT图像重建的质量和鲁棒性，实验验证充分，具有较高的实用价值。

—第87篇----

=====

Migician: Revealing the Magic of Free-Form Multi-Image Grounding in Multimodal Large Language Models

🔍 关键词: cs.CL, cs.AI, cs.CV

链接1

摘要: 最近的多模态大型语言模型（MLLMs）的进展显著提升了其对单个图像的细粒度感知和对多图像的整体理解能力。然而，现有的MLLMs在复杂的多图像场景中实现精确定位仍面临挑战。为此，我们首先探索了一种思维链（CoT）框架，将单图像定位与多图像理解相结合。尽管在一定程度上有效，但由于其非端到端的特性，仍然不稳定，难以捕捉抽象的视觉信息。因此，我们推出了Migician，这是首个能够在多个图像中执行自由形式且精确定位的多图像定位模型。为支持这一模型，我们发布了MGrounding-630k数据集，包含来自现有数据集的多图像定位任务数据以及新生成的自由形式定位指令跟随数据。此外，我们提出了MIG-Bench，这是一个专门用于评估多图像定位能力的综合基准。实验结果表明，我们的模型在多图像定位能力上显著优于现有最佳的MLLMs，提升了21.61%，甚至超过了规模更大的70B模型。我们的代码、模型、数据集和基准均已完全开源。
总结: Migician通过创新的数据集和基准测试，实现了多图像场景下更加精确和灵活的定位，显著提升了现有多模态大型语言模型的表现。
###【arXiv编号】2501.05767v1
###【期刊】无
###【领域】计算机科学 - 计算语言学, 人工智能, 计算机视觉

[推荐指数：4]

=====

—第88篇----

=====

StarGen: A Spatiotemporal Autoregression Framework with Video Diffusion Model for Scalable and Controllable Scene Generation

🔍 关键词: 场景生成, 视频扩散模型, 时空自回归, 可控生成

链接1

摘要: 最近在大型重建和生成模型方面的进展显著提升了场景重建和新视角生成的能力。然而，由于计算限制，每次使用这些大型模型进行推理时仅限于小区域，使得长距离一致的场景生成具有挑战性。为了解决这个问题，我们提出了StarGen，这是一种新颖的框架，以自回归方式利用预训练的视频扩散模型进行长距离场景生成。每个视频片段的生成都基于空间上相邻图像的3D仿射变换以及先前生成的片段的时间上重叠的图像，从而在长距离场景生成中提高了时空一致性并实现了精确的姿态控制。时空条件与各种输入条件兼容，促进了多样化任务的实现，包括稀疏视角插值、永久视角生成和基于布局的城市生成。定量和定性评估表明，StarGen在可扩展性、保真度和姿态准确性方面优于现有最先进的方法。

总结: StarGen框架通过自回归使用视频扩散模型，实现了可扩展且可控的长距离场景生成，显著提升了时空一致性。

###【arXiv编号】2501.05763v1

###【git】

###【期刊】

###【领域】计算机视觉、生成模型、场景生成

[推荐指数：4]

StarGen在长距离场景生成方面提供了创新的解决方案，结合视频扩散模型的自回归方法显著提高了生成的一致性和控制能力，具有较高的实用性和创新性。

—第89篇----

=====

ViPOcc: Leveraging Visual Priors from Vision Foundation Models for Single-View 3D Occupancy Prediction

Semantic Mapping in Indoor Embodied AI – A Comprehensive Survey and Future Directions

🔍 关键词: 语义映射, 具身AI, 室内导航, 机器人, 计算机视觉

链接1

摘要: 智能化具身代理（如机器人）需要在不熟悉的环境中执行复杂的语义任务。在这些代理需要具备的众多技能中，构建和维护环境的语义地图是在长期任务中最为关键的。语义地图以结构化的方式捕捉有关环境的信息，允许代理在整个任务过程中引用它进行高级推理。尽管现有的具身AI综述侧重于一般进展或特定任务，如导航和操作，但本文提供了对具身AI中语义地图构建方法的全面回顾，特别是针对室内导航。我们根据它们的结构表示（空间网格、拓扑图、密集点云或混合地图）和编码的信息类型（隐式特征或显式环境数据）对这些方法进行分类。我们还探讨了地图构建技术的优缺点，强调了当前的挑战，并提出了未来的研究方向。我们确定该领域正朝着开发开放词汇、可查询、任务无关的地图表示方向发展，同时高内存需求和计算效率低仍然是待解决的挑战。本调查旨在指导当前和未来的研究人员推进具身AI系统的语义映射技术。
总结: 本文全面综述了具身AI中室内导航的语义地图构建方法，并提出了未来研究方向。

###【arXiv编号】2501.05750v1
###【git】无
###【期刊】无
###【领域】计算机科学-机器人学, 计算机视觉

[推荐指数：4]

=====

—第93篇----

=====

LLVD: LSTM-based Explicit Motion Modeling in Latent Space for Blind Video Denoising

🔍 关键词: 计算机视觉, 机器学习, 视频去噪, LSTM, 潜在空间

PDF 链接

摘要: 视频修复在通过纠正在捕获、保存/共享及编辑过程中引入的各种退化（传感器噪声、运动模糊等）来恢复受损视频内容方面起着关键作用。本文介绍了一种新颖的算法，专为在视频捕获过程中引入噪声的场景设计，旨在通过减少不需要的噪声伪影来增强视频的视觉质量。我们提出了潜在空间长短期记忆视频去噪器（LLVD），一种端到端的盲去噪模型。LLVD 独特地结合了空间和时间特征提取，在编码特征域中使用了长短期记忆网络（LSTM）。这种 LSTM 层的集成对于保持修复视频的连续性和最小化闪烁至关重要。此外，在编码特征域中处理帧显著降低了计算量，导致架构非常轻量级。LLVD 的盲性质使其在噪声特性未知的真实场景下具有多样性。实验表明，LLVD 在合成和捕获噪声方面表现出色。具体而言，LLVD 在 RAW 去噪方面超越了当前的最新技术（SOTA）0.3dB，同时还实现了 59%的计算复杂度降低。
总结: LLVD 提供了一种高效且轻量级的盲视频去噪解决方案，在性能和计算复杂度方面均优于现有方法。
###【arXiv编号】2501.05744v1
###【git】无
###【期刊】无
###【领域】计算机视觉, 机器学习

[推荐指数：4]

LLVD 算法在视频去噪领域展示了较高的创新性和实用性，既提升了去噪性能又显著降低了计算复杂度，适用于实际应用场景。

—第94篇----

TB-Bench: Training and Testing Multi-Modal AI for Understanding Spatio-Temporal Traffic Behaviors from Dashcam Images/Videos

🔍 关键词: 多模态大型语言模型, 自动驾驶, 时空交通行为, 基准测试, 视觉语言指令调优

PDF链接

摘要: 多模态大型语言模型（MLLMs）在自动驾驶（AD）中的应用面临重大挑战，因为它们在交通特定数据上的训练有限，且缺乏专门用于时空理解的基准测试。本研究通过提出TB-Bench，一个全面的基准测试，旨在评估MLLMs在自车视角下理解交通行为的八个感知任务。我们还引入了视觉语言指令调优数据集TB-100k和TB-250k，以及用于这些任务的简单但有效的基线。通过大量实验，我们展示了现有MLLMs在这些任务中的表现不佳，即使是强大的模型如GPT-4o在平均准确率上也不到35%。相比之下，当使用TB-100k或TB-250k进行微调时，我们的基线模型在这些任务上的平均准确率可达85%，显著提升了任务表现。此外，我们通过与另一个交通数据集共同训练TB-100k展示了性能转移，提升了后者的表现。总体而言，本研究通过引入全面的基准测试、高质量的数据集和基线，支持了MLLMs在自动驾驶的感知、预测和规划阶段的逐步整合，标志着一大进步。
总结: 本文提出的TB-Bench基准和相关数据集显著提升了多模态AI在自动驾驶交通行为理解中的性能表现。

###【arXiv编号】arXiv:2501.05733v1
###【git】
###【期刊】
###【领域】计算机视觉，自动驾驶

[推荐指数：4]

该研究通过引入新的基准测试和大规模数据集，显著提升了多模态AI在自动驾驶领域的时空交通行为理解能力，具有较高的创新性和实用价值。

—第95篇----

=====

Super-class guided Transformer for Zero-Shot Attribute Classification

🔍 关键词: 计算机视觉, 零样本分类, 属性分类, Transformer, 视觉语言模型

arXiv PDF链接

摘要: 属性分类对于识别图像区域中的特定特征至关重要。视觉语言模型（VLM）通过利用大规模数据集的通用知识，在零样本任务中表现出色。近期研究表明，基于Transformer的模型通过类别查询可以有效处理零样本多标签分类。然而，对已见和未见属性之间关系的利用不足导致模型缺乏泛化能力。此外，属性分类通常涉及大量属性，导致模型的可扩展性难以维持。为了解决这些问题，我们提出了Super-class guided Transformer（SugaFormer），一个新颖的框架，利用超类来增强零样本属性分类的可扩展性和泛化性。SugaFormer采用超类查询初始化（SQI）减少查询数量，利用超类的共同语义信息，并结合多上下文解码（MD）以处理多样的视觉线索。为了加强泛化能力，我们引入了两种知识转移策略，利用VLM。在训练过程中，超类指导的一致性正则化（SCR）使用区域特定提示将SugaFormer的特征与VLM对齐；在推理过程中，基于检索的零样本分数增强（ZRSE）对未见属性的预测进行细化。大量实验证明，SugaFormer在零样本和跨数据集迁移设置下，在三个广泛使用的属性分类基准上实现了最先进的性能。我们的代码可在 GitHub 获取。
总结: SugaFormer通过超类引导和知识转移策略，实现了零样本属性分类的高可扩展性和泛化性，达到了最先进的性能。
###【arXiv编号】2501.05728v1
###【git】https://github.com/mlvlab/SugaFormer
###【期刊】未指定
###【领域】计算机视觉

[推荐指数：4]

SugaFormer提出了创新的超类指导方法和知识转移策略，显著提升了零样本属性分类的性能和泛化能力，具有较高的实用性和创新性。

—第96篇----

=====

Zero-shot Shark Tracking and Biometrics from Aerial Imagery

🔍 关键词: 无标签数据, 零样本学习, 鲨鱼追踪, 生物识别, 无人机影像

链接1

摘要: 最近，无人机在研究海洋动物方面的广泛应用为从空中影像中提取生物学信息提供了机会。无人机获取的大规模影像数据非常适合机器学习（ML）分析。用于分析海洋动物空中影像的ML模型开发遵循经典的训练、测试和部署新模型的范式，需要大量的时间、人力和ML专长。我们介绍了帧级对齐与追踪（FLAIR），它利用了Segment Anything Model 2（SAM2）的视频理解和Contrastive Language-Image Pre-training（CLIP）的视觉语言能力。FLAIR以无人机视频作为输入，输出视频中感兴趣物种的分割掩码。值得注意的是，FLAIR采用零样本方法，消除了对标注数据、训练新模型或微调现有模型的需求，能够推广到其他物种。通过一个包含18,000张太平洋护士鲨无人机影像的数据集，我们训练了最先进的目标检测模型与FLAIR进行了比较。结果表明，FLAIR大幅优于这些目标检测器，并在与两种人工引导的SAM2提示方法的竞争中表现出色，达到了0.81的Dice得分。FLAIR能够不需要额外的人力干预即可推广到其他鲨鱼物种，并可结合新颖的启发式方法自动提取相关信息，包括长度和尾部拍打频率。FLAIR具有显著的潜力，可以加速空中影像分析工作流程，所需的人力和专业知识明显少于传统的机器学习工作流程，同时实现了更高的准确性。通过减少空中影像分析所需的工作量，FLAIR使科学家能够花更多时间解释结果和获取关于海洋生态系统的洞见。

总结: FLAIR方法通过零样本学习显著提升了无人机海洋动物影像分析的效率和准确性。

###【arXiv编号】2501.05717v1

###【git】

###【期刊】

###【领域】计算机视觉、人工智能、定量生物学

[推荐指数：4]

=====

—第97篇----

=====

Infrared Image Super-Resolution: Systematic Review, and Future Trends

🔍 关键词: 图像超分辨率, 红外图像, 深度学习

链接1

摘要: 图像超分辨率（SR）对于广泛的计算机视觉和图像处理任务至关重要。研究红外（IR）图像（或热成像）超分辨率是深度学习发展的一个持续关注点。本综述旨在提供红外图像超分辨率的全面视角，包括其应用、硬件成像系统难题和图像处理方法的分类。此外，还讨论了红外图像超分辨率任务中的数据集和评估指标。此外，强调了当前技术的不足和社区可探索的有前景的方向。为了应对该领域的快速发展，我们计划定期更新相关优秀工作，网址：https://github.com/yongsongH/Infrared_Image_SR_Survey
总结: 本文系统性地综述了红外图像超分辨率的研究进展、应用及未来发展方向。

###【arXiv:2212.12322v3】
###【https://github.com/yongsongH/Infrared_Image_SR_Survey】
###【期刊】未提供
###【领域】图像处理, 计算机视觉, 深度学习

[推荐指数：4]

本文全面综述了红外图像超分辨率领域的最新研究进展与挑战，具有较高的参考价值和实用性，但作为综述性文章，其创新性评分略有保留。

—第98篇----

=====

文章名称

Factorized Diffusion: Perceptual Illusions by Noise Decomposition

🔍 关键词: 扩散模型，噪声分解，感知错觉，图像分解，混合图像

链接1

摘要: 通过将图像分解为线性组件的和，我们提出了一种零样本方法，通过扩散模型采样来控制每个独立的组件。例如，我们可以将图像分解为低空间频率和高空间频率，并根据不同的文本提示来调控这些组件。这生成了混合图像，其外观会根据观看距离的不同而变化。通过将图像分解为三个频率子带，我们可以使用三个提示生成混合图像。我们还使用灰度和颜色组件的分解来生成在灰度下观看时外观会变化的图像，这种现象在昏暗光照条件下自然发生。我们还探索了通过运动模糊核的分解，生成在运动模糊下外观会变化的图像。我们的方法通过使用复合噪声估计进行去噪，该复合噪声估计由根据不同提示条件化的噪声估计组件构建。我们还展示了对于某些分解，我们的方法能够恢复先前的组合生成和空间控制方法。最后，我们展示了可以将我们的方法扩展到从真实图像生成混合图像。我们通过固定一个组件并生成其余组件，有效地解决了一个逆问题。

总结: 本文提出了一种通过噪声分解控制图像各组件的扩散模型方法，能够生成在不同条件下外观变化的混合图像。

###【arXiv编号】arXiv:2404.11615v2

###【git】无

###【期刊】无

###【领域】计算机视觉

[推荐指数：4]

=====

—第99篇----

=====

From My View to Yours: Ego-Augmented Learning in Large Vision Language Models for Understanding Exocentric Daily Living Activities

🔍 关键词: Large Vision Language Models, Activities of Daily Living, Ego-Augmented Learning, Video Understanding, EgoMimic

链接1

摘要: 大型视觉语言模型（LVLMs）在视频理解方面展示了令人印象深刻的能力，但其在日常生活活动（ADL）中的应用仍受限于无法捕捉细粒度的交互和空间关系。这一限制在ADL任务中尤为明显，因为理解详细的人物与物体的交互以及以人为中心的运动对于老年人监护和认知评估等应用至关重要。为了解决这一问题，我们旨在利用自我视角的补充特性，增强LVLM对外部视角ADL视频的理解。因此，我们提出了一种在线的ego2exo蒸馏方法，以在LVLM中学习自我增强的外部表征。虽然该方法有效，但需要配对的自我-外部训练数据，这在现实的ADL场景中难以收集。因此，我们开发了EgoMimic，这是一种基于骨架的引导方法，可以从外部视频生成模仿自我视角的视图。我们发现，经过自我增强的LVLM的外部表征成功地学习了提取自我视角线索，通过在六个ADL基准测试和我们专门设计的EgoPerceptionMCQ基准测试上的全面评估得到了证明。代码、模型和数据将开源于 https://github.com/dominickrei/EgoExo4ADL。
总结: 本文通过自我增强学习方法提升大型视觉语言模型在理解外部视角日常生活活动视频中的表现，并提出了无需配对训练数据的EgoMimic方法。
###【arXiv编号】2501.05711v1
###【git】https://github.com/dominickrei/EgoExo4ADL
###【期刊】暂无
###【领域】计算机视觉、视频理解、人工智能