迈向人工智能驱动的放射学教育：基于自监督分割的高精度医学图像编辑框架

Towards AI-Driven Radiology Education: A Self-supervised Segmentation-Based Framework for High-Precision Medical Image Editing

摘要

医学教育对于提供医学中最好的患者护理至关重要，但使用真实世界的数据创建教育材料会带来许多挑战。例如，疾病的诊断和治疗可能会受到医学图像中微小但显着差异的影响;然而，收集图像以突出这些差异通常成本高昂。因此，允许用户创建其预期疾病特征的医学图像编辑可用于教育。然而，现有的图像编辑方法通常需要手动注释标签，这是劳动密集型的，并且通常具有挑战性，以精确表示细粒度的解剖元素

本文提出了一种新的算法，用于使用通过自监督学习获得的分割标签来编辑解剖元素。我们的自监督分割在光度和几何变换的不变性约束下实现了像素级聚类，假设这些变换不会改变解剖学元素的临床解释。然后，用户编辑分割图以生成具有预期详细结果的医学图像。
代码地址

本文方法

解剖学元素的编辑。（a） 用户可以编辑从输入图像获得的分割图，以表达预期的细粒度疾病特征。产生针状肺结节。（b） 合成疾病进展显示直肠外观正常 （b-1）、直肠肿瘤延伸至粘膜下层 （b2） 和肿瘤延伸至固有肌层 （b-3）。（c） 合成直肠肿瘤 （c-1） 和怀疑粘液性腺癌 （c-2） 的细胞外粘蛋白 T2 高信号的对比肿瘤。

U3-Net的整体架构。对输入图像应用两种随机变换，以生成不同视图 I1 和 I2 中的图像。编码器将转换后的图像转换为量化嵌入以及由聚类索引 S1 和 S2 组成的分割图。对自监督分割执行像素级聚类，该聚类在视图之间应保持一致。解码器从量化的嵌入映射生成重建的图像 R1 和 R2。鉴别器通过逐像素判断图像是真是假来对抗性地增强自然外观

变换不变像素聚类。假设 S1 中黑匣子内的大多数像素被分配给第 kA 个簇。簇内拉力导致嵌入向量 粘附平均向量 μkA。从另一个角度来看，一些相同的像素（ea2、eb2 和 ef2）被分配给第 kB 个簇，可以通过将 S2 重新转换为 S1 的配位来评估。跨视图一致性损失迫使一个视图 ea2 的嵌入向量,…ef2，以匹配另一个视图 μkA 的平均向量。簇间推力保持平均向量之间的距离。

实验结果