《Tyche: Stochastic In-Context Learning for Medical Image Segmentation》CVPR2024-CSDN博客

本文链接：https://blog.csdn.net/qq_46981910/article/details/144249117

摘要

这篇论文介绍了一个名为Tyche的模型，它用于医学图像分割任务。Tyche通过使用上下文集来为以前未见过的任务生成随机预测，无需重新训练。该模型解决了两个主要问题：1) 对于大多数新的分割任务，需要重新训练或微调新模型，这需要大量资源和机器学习专业知识；2) 大多数现有分割方法为给定图像产生单一确定性分割掩码，但在实践中，正确的分割往往存在很大的不确定性。Tyche通过引入一种新的卷积块架构和上下文测试时增强机制，预测一组可能的多样化分割候选，而无需重新训练。

概述

拟解决的问题：

医学图像分割任务通常需要为每个新模态和生物医学领域训练新模型，这在资源和专业知识有限的生物医学研究和临床环境中是不切实际的。
现有模型通常只提供一个分割解决方案，而实际上目标图像可能包含模糊区域，并没有单一正确的分割。

动机：

顶部展示了人类注释者如何处理多种任务，并且不同的注释者通常会对同一图像产生不同的分割结果。
中部展示了现有的自动化方法，这些方法通常是针对特定任务的，并且只为每个图像提供一个分割结果。
底部展示了Tyche框架，它能够捕捉到不同注释者在多种模态和解剖结构上的分歧，而无需重新训练或微调。

总的来说，Tyche能用于不同的任务而无需重新训练，并且生成了更符合人类分割（不确定性）的多中分割结果。

创新之处：

引入了一种新的卷积块架构，使得不同预测之间的内部表示能够相互交互。
引入了上下文测试时增强机制，为预测的随机性提供新的机制。
Tyche是第一个用于上下文学习的随机分割框架，能够为新或未见过的医学图像和分割任务预测一组可能的分割候选，而无需重新训练。

Tyche模型实现迁移学习的关键在于其能够利用上下文集（Context Set）来适应新的或未见过的医学图像分割任务，而无需针对新任务进行完整的训练。

方法

Tyche包括两种变体，Tyche-TS（训练时随机性）和Tyche-IS（推理时随机性）。Tyche-TS在训练时就设计为产生多个候选分割，而Tyche-IS则是在测试时通过对预训练的确定性上下文模型应用增强来实现随机预测。Tyche的网络架构基于UNet结构，但使用了新的SetBlock来促进上下文集和目标分割候选之间的交互。Tyche-TS通过最佳候选损失函数来优化模型，只对最佳预测进行反向传播，以鼓励产生多样化的解决方案。

参数说明： $x^{t}_{j}$ 、 $y^{t}_{j}$ 表示原图和分割图， $z_{k}$ 噪声

将 Tyche 设计为上下文学习 (ICL) 模型，对所有任务使用单一函数：

这个具有全局参数θ的函数捕获了标签图 $y^{t}_{k}$ 的分布，给定目标 $x^{t}$ ，上下文集合 $S^{t}=\left \{ x_{j}^{t},y_{j}^{t} \right \}_{j=1}^{S}$ 定义任务t和噪声 $z_{k}\sim ~N\left ( 0,1 \right )$ 。我们以两种方式使用这种建模策略：我们要么显式训练一个网络来近似Tyche-TS中的模型 $f_{\theta }\left ( \cdot \right )$ ，要么在Tyche-IS中设计一个测试时策略来近似 $f_{\theta }\left ( \cdot \right )$ 。

3.1 Tyche-TS (Train-time Stochasticity)

Tyche-TS是一个在训练时就设计为产生多个候选分割的系统。该网络在给定相同的图像输入 $x^{t}$ 但不同的噪声通道 $z_{k}$ 的情况下做出不同的预测。（看不懂图可以直接看公式）

**SetBlock机制**。SetBlock 支持来自上下文集的特征集和预测候选的特征集之间的交互。它输出两组特征，一个用于上下文，一个用于预测候选。

Tyche-TS 将目标 $x^{t}$ 、一组 K 个高斯噪声通道 $z_{k}$ 和一个上下文集 $S^{t}$ 作为输入。

SetBlock是Tyche-TS中新引入的操作，它允许候选分割表征（U）与上下文表示（V）之间的交互。SetBlock使用CrossBlock作为构建块，CrossBlock涉及单个特征与一组特征之间的交互，并输出新的特征。

**CrossBlock机制。**CrossBlock涉及单个特征和一组特征之间的交互，并为每个特征输出目标和新功能的新特征。

公式如下：

传统的损失函数计算单个预测相对于单个目标的损失，但Tyche-TS产生多个预测，并有一个或多个对应的标签图。Tyche-TS优化的是所有候选中最佳预测的平均损失。

$L_{seg}$ 是在所有候选预测中找到与真实标签y的Dice损失最小的那个， $L_{Dice}$ 是软Dice损失和分类交叉熵的加权和。

3.2 Tyche-IS (Inference-time Stochasticity)

Tyche-IS是一个测试时解决方案，它利用预训练的确定性上下文模型。通过在测试时对目标和上下文集应用增强来提供随机预测。这涉及到对输入图像和上下文集应用不同的变换，然后对增强后的图像进行预测。

Tyche-IS 只应用基于强度的变换，以避免需要反转分割回变换的需求。常用的增强包括高斯噪声、模糊和像素强度反转。

总结来说，Tyche-IS 通过在测试时对输入图像和上下文集应用增强变换，生成多个随机的分割预测，从而在不重新训练模型的情况下，为新的或未见过的医学图像分割任务提供解决方案。

写这篇博文的我的理解是：训练的过程中训练模型能够通过上下文集合生成一系列的分割图，训练的是模型的参照能力，能利用上下文集合参照来进行分割的能力，故在测试的时候，遇到没有见过的任务或图片，可以通过这种能力来进行分割。（一点拙见，毕竟深度学习的解释性有点差，这篇论文也没有提到怎么进行迁移的。）

结论

Tyche是第一个用于随机上下文分割的框架。它能够为任何（新的）分割任务直接产生多样化的分割候选，从中实践者可以选择最合适的一个，并更好地理解底层的不确定性。Tyche能够泛化到训练时未见过的图像，并在性能上超越了上下文和交互基准。此外，Tyche通常能够与专门为这些任务训练的随机模型相匹配。Tyche有两种变体，一种旨在优化最佳分割候选，具有快速的推理时间；另一种是测试时增强变体，可以与现有的上下文学习方法结合使用。作者对进一步研究Tyche-TS和Tyche-IS捕获的不同类型不确定性感到兴奋，并计划通过更复杂的支持集（包括可变的注释者和多个图像模态）来扩展Tyche的能力。