医图顶会 MICCAI‘24 | 基于普适半监督学习的医学图像分类-CSDN博客

本文链接：https://blog.csdn.net/m0_59235699/article/details/144619528

论文信息

题目：Universal Semi-Supervised Learning for Medical Image Classification

基于普适半监督学习的医学图像分类

源码链接：https://github.com/PyJulie/USSL4MIC

论文创新点

提出统一框架：作者提出了一个新的通用半监督学习框架，用于医学图像分类，这使得模型能够利用开放集识别和领域适应技术从未知类别/领域中学习。
双路径异常估计技术：为了衡量未标注样本是未知类别的可能性，作者提出了一种名为双路径异常估计（DOE）的新技术，该技术基于特征相似性和分类器预测的置信度来评估未知类别。
变分自编码器（VAE）预训练：为了提取未知领域的样本，作者应用了有效的变分自编码器（VAE）预训练，这种方法更适合于医学图像领域分离，并且需要的标注样本更少。
领域适应与半监督学习结合：作者通过领域适应方法对来自不同领域的样本进行特征匹配，并结合半监督学习技术对标注和未标注样本进行优化，以充分利用类别/领域不匹配的未标注数据。

摘要

半监督学习（SSL）因其能减少收集足够良好标注训练数据的高昂成本而备受关注，尤其是在深度学习方法中。然而，传统的SSL建立在一个假设之上，即标注和未标注数据应该来自相同的分布，例如类别和领域。然而，在实际场景中，未标注数据可能来自未见过的类别或未见过的领域，现有的SSL方法仍然难以利用这些数据。因此，在本文中，我们提出了一个统一的框架，利用这些未见过的未标注数据进行开放场景的半监督医学图像分类。我们首先设计了一种新颖的评分机制，称为双路径异常估计，以识别来自未见类别的样本。同时，为了提取未见领域样本，我们随后应用了有效的变分自编码器（VAE）预训练。之后，我们进行领域适应，以充分利用检测到的未见领域样本，以增强半监督训练。我们在皮肤科和眼科任务上评估了我们提出的框架。广泛的实验表明，我们的模型可以在各种医学SSL场景中实现优越的分类性能。

关键词

半监督学习 · 开放集 · 皮肤科 · 眼科

2 方法

2.1 概述

我们提出的框架概述如图2所示。该框架主要包括一个特征提取器F、一个对抗性鉴别器D、一个多类分类器C和一个非对抗性鉴别器D’。特征提取器将输入X编码为特征V。多类分类器C输出确切疾病的预测。非对抗性鉴别器预测来自未标注数据的实例是UKD的可能性。对抗性鉴别器对来自已知和检测到的未知领域的样本进行特征适应。总之，我们的目标是为进一步使用SSL和领域适应训练，对来自未见类别/领域的未标注样本进行评分。

在这里插入图片描述

2.2 双路径异常估计

最近的开放集SSL方法主要关注于检测UKC样本，这被称为OSR任务。这些异常值将在训练阶段被移除。在这一部分，我们提出了一种名为双路径异常估计（DOE）的新型OSR技术，基于特征相似性和分类器预测的置信度来评估UKC。正式地，给定标注样本Xl，我们首先使用标准的交叉熵损失对模型进行预热。与CAFA不同，CAFA计算实例间的特征相似性，我们认为来自已知类别的样本应该比异常值更接近中心表示，例如原型。一个类别的原型可以计算为其对应样本xl,i ∈ Xl的平均输出：

其中Ncj表示类别j的实例数量，vcj是经过平均全局池化层后的1×D形状的向量。然后，可以计算一个实例xu,i ∈ XU与每个已知类别的特征相似性为：

我们可以假设，如果一个样本与所有类别特定的原型都相对较远，它应该有更大的平均值davg，可以被认为是潜在的异常值。然后，我们对未标注输入进行强增强，并生成两个视图xu’i,1和xu’i,2，这些视图也被送入预训练的网络并获得预测pui,1和pui,2。受一致性最大化原则的启发，一个样本是否为异常值可以通过这两个预测的一致性来确定：

最后，我们结合基于原型和基于预测的分数：

其中σ是一个归一化函数，将原始分布映射到(0,1]区间。

2.3 类别不可知领域分离

尽管我们提出的DOE可以帮助检测潜在的UKC样本，但一个明显的问题是领域差异很容易干扰UKC的估计，例如UKD样本与已知领域的原型有更大的距离。与检测UKC不同，区分未标注数据中的UKD样本则不那么困难，因为不同领域之间存在更多的环境差异，例如成像设备、模态或其他工件。为此，我们采用VAE，它对监督信号不可知，并且可以更多地关注领域的全局风格。正式地，VAE由编码器g(·)和解码器f(·)组成，其中编码器将高维输入特征xi压缩到低维嵌入空间，解码器旨在通过最小化误差来重建：

2.4 通过对抗训练和SSL进行优化

为了对区分出的未知领域进行领域适应，我们采用了常规的对抗训练方式，将标注数据视为目标领域，未标注数据视为源领域。注意我们使用两个权重w’d,u从非对抗性鉴别器和wc,u从DOE来确定哪些样本需要适应。对抗损失可以表述为：

其中θ表示特定模块的参数，ys = 1 和 yt = 0 是源域和目标域的初始域标签。然后，我们可以对来自标注数据和选择性特征适应的未标注数据进行统一训练，权重受控。总损失可以表述为：

其中α和β是系数。对于半监督项L_SSL，我们这里采用Π模型。因此，我们可以执行全局优化，更好地利用类别/领域不匹配的未标注数据。

3 实验

在这里插入图片描述

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述