【前沿 热点 顶会】NIPS/NeurIPS 2024中与医学图像有关的论文

标签噪音下医学图像分类 Vision Foundation 模型的课程微调

深度神经网络在各种视觉任务中表现出了显著的性能，但其性能在很大程度上依赖于训练数据的质量。噪声标签是医学数据集中的一个关键问题，会显著降低模型的性能。以往的清洁样本选择方法没有利用视觉基础模型(VFM)良好的预训练特性，并且假设训练是从头开始的。在本文中，我们提出了一种用于标签噪声下医学图像分类的 VFM 课程微调范例 Cufit。我们的方法的动机是 VFM 的线性探测相对不受噪声样本的影响，因为它不更新特征提取器 VFM，从而对训练样本进行稳健分类。随后，通过从线性探测开始的清洁样本选择，对两个适配器进行了课程微调。我们的实验结果表明， Cufit 在各种医学图像基准上都优于以前的方法。具体地说，我们的方法在 40%的噪声率上分别超过了以前的基线 5.0、 2.1、 4.6 和 5.8，HAM10000、 Aptos-2019、 BroudMnist 和 OrgancMnist。此外，我们提供了广泛的分析来演示我们的方法对噪声标签检测的影响。例如，与以前的方法相比，我们的方法具有更高的标注准确率和标注召回率。

Uni-Med：通过 Connector-MoE 进行多任务学习的统一医学通才基础模型

多模式大型语言模型(MLLMS)作为各种视觉和语言任务的通用界面，已经显示出令人印象深刻的能力。然而，为医学领域的多任务学习构建统一的 MLLM 仍然是一个棘手的挑战。为了缓解多模态多任务优化的拉锯战问题，最近的进展主要集中在改进 LLM 组件上，而忽略了连接模态之间的差距。本文介绍了一种新的医学通才基础模型 Uni-Med，它由一个通用的视觉特征提取模块、一个连接符混合专家(CMoE)模块和一个 LLM 组成。 Uni-Me