Cross-Modulated Few-Shot Image Generation for Colorectal Tissue Classification
摘要
-
提出问题:
- 针对罕见癌症组织的组织病理训练数据稀缺问题,他们提出了少样本结直肠组织图像生成方法。
-
方法介绍:
- 提出的方法名为XM-GAN,接受一个基准图像和一对参考组织图像作为输入,生成高质量且多样化的图像。
- 在XM-GAN中,采用了一种新颖的可控融合块,通过密集聚合参考图像和基准图像中局部区域的相似性,产生局部一致的特征。
-
研究贡献:
- 他们是第一个研究结直肠组织图像中少样本生成的团队。
- 通过广泛的定性、定量和专家(病理学家)评估,对其提出的方法进行评估。
-
评估结果:
- 在专家评估中,病理学家仅在55%的时间内能够区分XM-GAN生成的组织图像和真实图像。
- 利用生成的图像作为数据增强,解决少样本组织图像分类任务,在平均准确率方面取得了4.4%的提升。
方法
Fig. 1: XM-GAN由一个CNN编码器、一个基于Transformer的可控融合块(CFB)和一个用于组织图像生成的CNN解码器组成。对于K-shot设置,一个共享编码器
F
E
F_E
FE接受一个基准组织图像
x
b
x^b
xb 以及
K
−
1
K-1
K−1 个参考组织图像
x
i
r
e
f
i
=
1
K
−
1
{x^{ref}_i}^{K-1}_{i=1}
xirefi=1K−1,分别输出视觉特征
h
b
h^b
hb 和
h
i
r
e
f
h^{ref}_i
hiref。在CFB中,一个映射网络计算元权重,用于在交叉注意力期间生成特征重新加权的调制权重。交叉注意力得到的特征
f
i
f_i
fi 被融合并输入到解码器 (FD) 中,生成一幅图像
x
^
\hat{x}
x^。
z
z
z为噪声,
α
\alpha
α为控制参数