1、文章目的CVPR2023
生成人工的肿瘤数据,减少人工标注的工作量。合成肿瘤图像:1、形状和质地很真,医生也难以分辨;2、训练网络更高效,与在真实肿瘤上训练相近。
可以生成大量的小肿瘤的图像,对于肿瘤前期的诊断十分有帮助!
影响合成肿瘤的因素包括:形状,灰度值,大小,位置和纹理。
文章中生成肿瘤的策略:
(i)不与血管碰撞的位置,(ii)带有按比例放大的高斯噪声的纹理,以及(iii)由扭曲的椭圆体产生的形状。
此外,合成策略随心所欲的生成具有所需位置、大小、形状、纹理和强度的肿瘤,而不局限于固定的有限大小的训练集。
该合成策略允许对肿瘤位置、大小、质地、形状和强度等参数进行直接操纵,为评估非分布式场景下的人工智能模型提供了一个全面的测试平台。
2、方法
分为四步:位置选择、纹理生成、形状生成、后处理
2.1、位置选择
首先得到血管掩码,这里采用的阈值分割,先高斯模糊清除噪声,在阈值分类:
阈值T的设置如下:
得到血管掩码后,随机采样肝脏上的位置,检测有没有与血管碰撞的风险,如果有的话再重新采样,直到没有风险。如何判断有没有碰撞风险呢?检查该位置点周围有没有血管就可以了(根据血管掩码)周围的距离也是一个超参数。
2.2、纹理生成
先用肝脏的均值(HU)作为均值,肝脏的方差生成高斯噪声,因为高斯噪声太乱了,所以用三次样条插值
T
′
T'
T′,再用高斯模糊做一遍
T
′
′
T''
T′′,就和真实图像很像了。
2.3、形状生成
因为小的肿瘤都是从中心开始长大,所以小的肿瘤趋近于球形,所以用椭球型对肿瘤近似。先随机取x,y,z的半轴,生成椭球体后,再随机的弹性形变,为了让肿瘤边缘与肝脏本体更加平滑,采用高斯模糊。
2.4、后处理
第一步:把肿瘤掩码和纹理放到图像里,具体操作是按照掩码把肿瘤位置扣除去,在用纹理图替代:
第二步:质量效应是扩大的肿瘤将周围组织推开。如果肿瘤长得足够大,它将压迫周围的血管,使其弯曲,甚至导致附近的肝脏边缘隆起。这里采用Local scaling warping的方法。它将像素周围圆中的像素重新映射为更接近圆周的位置。对于一个与圆心的距离为
γ
γ
γ的像素,重新映射的像素距离为
γ
′
γ'
γ′:
第三步:通过提高肿瘤边缘的亮度来模拟胶囊的外观。边缘区域可以通过以下方式获得:
通过上述方法提升肿瘤边缘的亮度。
3、效果
总体的超参数如下:
总体的流程示意图如下: