奥罗拉·罗芬纳*,阿里安娜·曼基亚*,克劳迪娅·露西亚·皮科洛
†
{ }^{\dagger}
†,布鲁诺·贝蒙特·佐贝尔
†
‡
{ }^{\dagger \ddagger}
†‡,保罗·索达*§,瓦莱里奥·瓜拉西*
* 计算机系统与生物信息学研究组,罗马生物医学大学工程系,意大利
{aurora.rofena, valerio.guarrasi, p.soda}@ unicampus.it
†
{ }^{\dagger}
† 放射科,意大利罗马生物医学大学基金会波利克利尼科校园生物医学中心
‡
{ }^{\ddagger}
‡ 放射科,意大利罗马 Campus Bio-Medico 大学
§
{ }^{\S}
§ 放射科学系,瑞典乌梅奥大学放射物理与生物医学工程部
{paolo.soda@umu.se}
摘要—对比增强光谱乳腺摄影(CESM)是一种双能量乳腺摄影技术,通过注射含碘对比剂来提高病灶的可见性。它同时获取低能量图像(类似于标准乳腺摄影)和高能量图像,然后将两者结合以生成突出病灶对比增强的双能量减影图像。尽管与标准乳腺摄影相比,CESM 提供了更高的诊断准确性,但其使用涉及更高的辐射暴露以及与对比剂相关的潜在副作用。为了解决这些问题,我们提出了 SegCycleGAN,一种用于 CESM 虚拟对比增强的生成深度学习框架。该模型从低能量图像合成高保真的双能量减影图像,利用病灶分割图引导生成过程并改进病灶重建。基于标准 CycleGAN 架构,Seg-CycleGAN 引入了专注于病灶区域的局部损失项,增强了诊断相关区域的合成效果。在 CESM@UCBM 数据集上的实验表明,SegCycleGAN 在 PSNR 和 SSIM 方面优于基线模型,同时保持具有竞争力的 MSE 和 VIF。定性评估进一步证实生成图像中的病灶保真度有所提高。这些结果表明,分段感知生成模型为实现无对比剂的 CESM 替代方案提供了一条可行路径。关键词—生成式人工智能,GANs,Cycle GAN,CESM,乳腺癌,FFDM
I. 引言
对比增强光谱乳腺摄影(CESM)[1] 是一种双能量乳腺摄影成像技术,被归类为二级乳腺诊断程序。与标准全视野数字乳腺摄影(FFDM)不同,CESM 涉及静脉注射含碘对比剂,以突出高血管化区域,从而提高诊断准确性,特别是在致密型乳腺组织的患者中。检查包括获取低能量(LE)图像(可与 FFDM 相比)和高能量(HE)图像,后者单独无法解读。
随后对这些图像进行处理,生成双能量减影(DES)图像,在其中抑制腺体组织,突出对比剂摄取区域,从而改善病灶可见性。为了进行诊断解释,放射科医生分析 LE 和 DES 图像,以确保全面评估。CESM 被提议作为对比增强乳腺磁共振成像的一种可行替代方案,提供相当的灵敏度、更高的特异性(由于背景增强较少)、更快的速度、更低的成本以及更好的患者耐受性。然而,由于两个主要问题,CESM 的广泛应用可能受到限制。首先,使用含碘对比剂存在不良反应的风险,从轻微的过敏反应到更严重的并发症,如对比剂诱导的肾病、呼吸急促或面部肿胀。其次,CESM 的辐射剂量高于 FFDM,这是由于获取 HE 图像所需的双能量曝光 [2]。因此,开发能够减轻对比剂相关风险并减少辐射暴露同时保留 CESM 诊断效能的替代策略正引起越来越多的科学兴趣。在此背景下,越来越认识到全面和多模态的患者视角可以显著提高整体诊断性能 [3]-[9]。解剖和功能信息的融合支持更明智的临床决策,特别是在复杂病例或致密型乳腺组织的患者中。因此,通过合成、无对比剂的替代方法复制 CESM 的诊断价值不仅可以提高患者安全性,还可以维持全面和准确的诊断框架。
生成式人工智能(Gen-AI)的最新进展为创新方法铺平了道路,特别是通过应用生成对抗网络(GANs)等深度学习(DL)模型。这些模型已被探索用于 CESM 的虚拟对比增强(VCE),旨在通过将 LE 图像转换为模拟对比增强的虚拟 DES 图像来进行图像到图像的翻译 [10]-[12]。鉴于 LE 和 FFDM 图像之间的相似性,这种方法具有生成与 DES 等效图像的潜力,而无需额外的对比剂注射或超出 FFDM 水平的辐射暴露,从而为乳腺病变检测和特征描述提供更安全、更患者友好的替代方案。在此背景下,本研究追求以下目标:
- 开发一个 DL 模型,用于 CESM 中的 VCE 任务,能够从 LE 图像生成逼真且准确的 DES 图像;
-
- 将肿瘤病灶分割图整合到训练过程中,以增强病灶生成,从而潜在地提高临床适用性和诊断准确性。
- 本文其余部分结构如下:第二部分描述了 CESM 领域中 Gen-AI 的最新技术;第三部分介绍了所使用的数据;第四部分详细阐述了所提出的方法论和实验设置;第五部分展示了研究结果并讨论了其意义;最后,第六部分总结了研究的关键见解和实际意义。
II. 背景
VCE 最近在 CESM 的背景下得到了探索。Jiang 等人 [10] 提出了一种基于 cGAN 的合成网络,利用 LE 图像合成对应的 DES 图像。他们采用循环一致性方法,以尽量减少从高到低组织对比图像转换时的信息丢失。他们的方法分别处理头尾视图和内外侧斜视图,同时引入连接层以实现双视图信息融合。Rofena 等人 [11] 对三种 GenAI 模型进行了比较研究,即自动编码器、Pix2Pix [13] 和 CycleGAN [14],用于将 LE 图像转换为 DES 图像。该研究通过放射科医生进行的定量和定性评估表明,CycleGAN 具有生成与目标 DES 图像非常接近的合成 DES 图像的潜力。同一批作者进一步研究了虚拟活检背景下的 VCE 任务 [12]。利用 LE 图像与 FFDM 的相似性,他们提出了一个结合 FFDM(即 LE 图像)与 CESM(即 DES)的多模态、多视图虚拟活检任务,涵盖头尾视图和内外侧斜视图。由于临床协议并未包含所有患者的 CESM,他们使用 CycleGAN 来生成缺失的合成 CESM 图像。他们的结果显示,将 FFDM 与合成 CESM 结合起来可以提高虚拟活检的表现,相较于单独使用 FFDM 更加优越,突显了 CESM 设置下 VCE 的潜力。然而,据我们所知,在此背景下尚无研究专注于从 LE 图像生成 DES 图像,并使用特定机制实现准确的病灶重建。解决这一空白可以进一步细化合成图像质量,
图 1. (A) LE 图像,(B) DES 图像,© 分割图。
改善下游临床应用,强化生成式 AI 在增强 CESM 基础诊断中的作用。
III. 材料
在本研究中,我们采用了 CESM@UCBM 数据集 [12],该数据集包含来自 204 名患者的 CESM 检查,年龄范围为 31 至 90 岁,平均年龄为 56.7 岁,标准差为 11.2 岁。所有检查均于 2021 年 9 月 29 日至 2023 年 8 月 23 日之间在罗马 Fondazione Policlinico Universitario (FPUCBM) 校园生物医学中心的乳腺科进行,使用的是 Senographe Pristina 全视野数字乳腺摄影系统(GE Healthcare)。该数据集总共包含 2,278 张 DICOMDIR 格式的图像,均匀分布在 1,139 张 LE 图像和 1,139 张 DES 图像中。其中,1998 张图像分辨率为 2850 × 2396 2850 \times 2396 2850×2396 像素,其余 280 张图像分辨率为 2294 × 1916 2294 \times 1916 2294×1916 像素。根据医疗报告,117 名患者被诊断出至少有一个肿瘤病灶。FPUCBM 的放射科医生使用 3D Slicer 软件对 DES 图像进行了病灶分割,生成了 425 张分割图。由于 LE 和 DES 图像在空间上对齐,获得的分割可以直接用于两种模式。图 1 显示了一对 LE 和 DES 图像及其对应的分割图示例。
IV. 方法
A. 生成模型
基于先前的研究 [11],[12],我们调查了 CycleGAN 架构以解决 CESM 上的 VCE 任务,该任务涉及将 LE 图像翻译为其对应的 DES 图像。为了提高病灶生成的质量,我们扩展了标准 CycleGAN,通过引入利用分割图的附加损失项。这些术语选择性地聚焦于病灶区域,引导模型更准确地重建病灶特定特征。所提方法的示意图见图 2。CycleGAN [14] 是一种类型的 GAN,能够在不需配对样本的情况下在两个领域之间翻译图像。它由两个生成器
G
G
G 和
F
F
F 以及两个判别器
D
y
D_{y}
Dy 和
D
x
D_{x}
Dx 组成。生成器
G
G
G 将
X
X
X 领域映射到
Y
Y
Y
图 2. 所提方法的示意图。我们提出 Seg-CycleGAN,这是一种基于 CycleGAN 架构设计的模型,用于从 LE 图像生成 DES 图像。与标准 CycleGAN 不同,Seg-CycleGAN 在训练过程中利用肿瘤病灶分割图来指导图像翻译过程。
领域,而
F
F
F 执行逆向映射。判别器
D
y
D_{y}
Dy 区分领域
Y
Y
Y 中的真实图像
y
y
y 和生成图像
y
^
=
G
(
x
)
\hat{y}=G(x)
y^=G(x),而
D
x
D_{x}
Dx 区分真实图像
x
x
x 和生成图像
x
^
=
F
(
y
)
\hat{x}=F(y)
x^=F(y)。对抗训练采用对抗损失
L
a
d
v
(
G
,
D
y
)
\mathcal{L}_{a d v}\left(G, D_{y}\right)
Ladv(G,Dy),其中
G
G
G 力求最大化损失以欺骗
D
y
D_{y}
Dy,而
D
y
D_{y}
Dy 力求最小化损失,从而提高其区分真实和生成样本的能力。
L
a
d
v
(
G
,
D
y
)
\mathcal{L}_{a d v}\left(G, D_{y}\right)
Ladv(G,Dy) 定义如下:
L a d v ( G , D y ) = E y [ log ( D y ( y ) ) ] + E x [ log ( 1 − D y ( G ( x ) ) ] \mathcal{L}_{a d v}\left(G, D_{y}\right)=\mathbb{E}_{y}\left[\log \left(D_{y}(y)\right)\right]+\mathbb{E}_{x}\left[\log \left(1-D_{y}(G(x))\right]\right. Ladv(G,Dy)=Ey[log(Dy(y))]+Ex[log(1−Dy(G(x))]
同样,对抗损失 L a d v ( F , D x ) \mathcal{L}_{a d v}\left(F, D_{x}\right) Ladv(F,Dx) 控制 F F F 和 D x D_{x} Dx 之间的对抗训练。为了强制一致的映射,生成器采用循环一致性损失 L c y c ( G , F ) \mathcal{L}_{c y c}(G, F) Lcyc(G,F),确保输入图像经过前向变换后可以重建,即 x → G ( x ) → x \rightarrow G(x) \rightarrow x→G(x)→ F ( G ( x ) ) ≈ x F(G(x)) \approx x F(G(x))≈x,以及反向变换,即 y → y \rightarrow y→ F ( y ) → G ( F ( y ) ) ≈ y F(y) \rightarrow G(F(y)) \approx y F(y)→G(F(y))≈y。该损失最小化原始图像(即 x x x 和 y y y)与其对应恢复图像(即 F ( G ( x ) ) F(G(x)) F(G(x)) 和 G ( F ( y ) ) G(F(y)) G(F(y)))之间的差异,定义如下:
L c y c ( G , F ) = E y [ ∥ G ( F ( y ) − y ) ∥ 1 ] + E x [ ∥ F ( G ( x ) ) − x ∥ 1 ] \mathcal{L}_{c y c}(G, F)=\mathbb{E}_{y}\left[\left\|G(F(y)-y)\right\|_{1}\right]+\mathbb{E}_{x}\left[\|F(G(x))-x\|_{1}\right] Lcyc(G,F)=Ey[∥G(F(y)−y)∥1]+Ex[∥F(G(x))−x∥1]
最后,身份映射损失 L i d ( G , F ) \mathcal{L}_{i d}(G, F) Lid(G,F) 确保当目标领域的样本输入生成器时,输出保持不变。它表示为:
L i d ( G , F ) = E y [ ∥ G ( y ) − y ∥ 1 ] + E x [ ∥ F ( x ) − x ∥ 1 ] \mathcal{L}_{i d}(G, F)=\mathbb{E}_{y}\left[\|G(y)-y\|_{1}\right]+\mathbb{E}_{x}\left[\|F(x)-x\|_{1}\right] Lid(G,F)=Ey[∥G(y)−y∥1]+Ex[∥F(x)−x∥1]
因此,完整的 CycleGAN 目标函数为:
G ∗ , F ∗ = arg min G , F max D x , D y [ L a d v ( G , D y ) + L a d v ( F , D x ) + λ 1 L c y c ( G , F ) + λ 2 L i d ( G , F ) ] \begin{aligned} G^{*}, F^{*}= & \arg \min _{G, F} \max _{D_{x}, D_{y}}\left[\mathcal{L}_{a d v}\left(G, D_{y}\right)+\mathcal{L}_{a d v}\left(F, D_{x}\right)\right. \\ & \left.+\lambda_{1} \mathcal{L}_{c y c}(G, F)+\lambda_{2} \mathcal{L}_{i d}(G, F)\right] \end{aligned} G∗,F∗=argG,FminDx,Dymax[Ladv(G,Dy)+Ladv(F,Dx)+λ1Lcyc(G,F)+λ2Lid(G,F)]
其中 λ 1 \lambda_{1} λ1 和 λ 2 \lambda_{2} λ2 平衡每个损失项的贡献。
为了提高 VCE 任务中的病灶生成,我们将分割图
s
s
s 整合到训练过程中。通过利用这些地图,我们引入了循环一致性损失和身份映射损失的局部版本
L
′
c
y
c
(
G
,
F
)
\mathcal{L}^{\prime}{ }_{c y c}(G, F)
L′cyc(G,F) 和
L
′
i
d
(
G
,
F
)
\mathcal{L}^{\prime}{ }_{i d}(G, F)
L′id(G,F),它们仅专注于比较生成图像和目标图像的病灶区域,而不是整个图像。这些局部损失定义如下:
L ′ c g c ( G , F ) = E y [ ∥ s ⋅ ( G ( F ( y ) ) − y ) ∥ 1 ] + E x [ ∥ s ⋅ ( F ( G ( x ) ) − x ) ∥ 1 ] L ′ i d ( G , F ) = E y [ ∥ s ⋅ ( G ( y ) − y ) ∥ 1 ] + E x [ ∥ s ⋅ ( F ( x ) − x ) ∥ 1 ] \begin{aligned} \mathcal{L}^{\prime}{ }_{c g c}(G, F)= & \mathbb{E}_{y}\left[\|s \cdot(G(F(y))-y)\|_{1}\right] \\ & +\mathbb{E}_{x}\left[\|s \cdot(F(G(x))-x)\|_{1}\right] \\ \mathcal{L}^{\prime}{ }_{i d}(G, F)= & \mathbb{E}_{y}\left[\|s \cdot(G(y)-y)\|_{1}\right] \\ & +\mathbb{E}_{x}\left[\|s \cdot(F(x)-x)\|_{1}\right] \end{aligned} L′cgc(G,F)=L′id(G,F)=Ey[∥s⋅(G(F(y))−y)∥1]+Ex[∥s⋅(F(G(x))−x)∥1]Ey[∥s⋅(G(y)−y)∥1]+Ex[∥s⋅(F(x)−x)∥1]
我们将每个局部损失项与其对应的全局损失项相结合,并引入权重因子 γ \gamma γ 以平衡它们对总体目标函数的贡献。因此,最终的损失函数变为:
G ∗ , F ∗ = arg min G , F max D x , D y { L a d v ( G , D y ) + L a d v ( F , D x ) + λ 1 [ L c g c ( G , F ) + γ ⋅ L c g c ′ ( G , F ) ] + λ 2 [ L i d ( G , F ) + γ ⋅ L i d ′ ( G , F ) ] } \begin{aligned} G^{*}, F^{*}= & \arg \min _{G, F} \max _{D_{x}, D_{y}}\left\{\mathcal{L}_{a d v}\left(G, D_{y}\right)+\mathcal{L}_{a d v}\left(F, D_{x}\right)\right. \\ & \left.+\lambda_{1}\left[\mathcal{L}_{c g c}(G, F)+\gamma \cdot \mathcal{L}_{c g c}^{\prime}(G, F)\right]\right. \\ & \left.+\lambda_{2}\left[\mathcal{L}_{i d}(G, F)+\gamma \cdot \mathcal{L}_{i d}^{\prime}(G, F)\right]\right\} \end{aligned} G∗,F∗=argG,FminDx,Dymax{Ladv(G,Dy)+Ladv(F,Dx)+λ1[Lcgc(G,F)+γ⋅Lcgc′(G,F)]+λ2[Lid(G,F)+γ⋅Lid′(G,F)]}
这种公式鼓励生成器在训练期间专注于准确重建病灶区域,同时保留整体图像结构,从而提高 VCE 任务中病灶生成的质量。为了区分这种方法与使用方程 4 训练的标准 CycleGAN,我们将我们的模型称为 Seg-CycleGAN,它明确地将病灶分割整合到训练目标中。
B. 实验设置
我们对 CESM@UCBM 数据集的所有图像进行了预处理,以确保数据的一致性和统一性。预处理管道包括四个主要步骤:(i) 零填充以将图像转换为正方形形状,(ii) 对比度拉伸以调整亮度水平,(iii) 将像素值归一化到
[
0
,
1
]
[0,1]
[0,1] 范围,(iv) 调整大小到
256
×
256
256 \times 256
256×256 像素。为了增强泛化能力并防止过拟合,我们在训练集中应用了随机数据增强,包括垂直和水平位移(最多
±
10
%
\pm 10 \%
±10% 的原始尺寸)、缩放变化(
±
10
%
\pm 10 \%
±10%)、水平翻转和旋转(最多
±
1
5
∘
\pm 15^{\circ}
±15∘)。相应的分割图也经历了相同的增强。实验使用分层 10 折交叉验证进行,确保折叠中带有分割图的样本分布均匀。数据集分为训练集(
80
%
80 \%
80%)、验证集(
10
%
10 \%
10%)和测试集(
10
%
10 \%
10%)。为了便于训练,我们首先在公开可用的 CESM 数据集 [15] 上预训练了我们的模型,应用了与 CESM@UCBM 数据集相同的预处理步骤。由于该数据集中没有分割图,我们使用标准损失函数(方程 4)训练模型。所得权重用作后续在 CESM@UCBM 数据集上训练的初始化,其中使用方程 7 中描述的损失函数,探索不同的
γ
\gamma
γ 参数值。我们进行了最多 200 个周期的训练,如果验证损失在连续 50 个周期内没有改善,则触发提前停止。我们使用
图 3. (A) LE 输入图像,(B) DES 目标图像,© CycleGAN 输出,(D) Seg-CycleGAN 使用
γ
=
35
\gamma=35
γ=35 输出,(E) Seg-CycleGAN 使用
γ
=
100
\gamma=100
γ=100 输出。
Adam 优化器用于生成器和判别器网络,学习率为
1
0
−
5
10^{-5}
10−5,权重衰减为
1
0
−
5
10^{-5}
10−5,beta 为 0.5 ,动量为 0.999 。对于损失函数,我们使用均方误差作为对抗损失
L
a
d
v
(
G
,
D
y
)
\mathcal{L}_{a d v}\left(G, D_{y}\right)
Ladv(G,Dy) 和
L
a
d
v
(
F
,
D
x
)
\mathcal{L}_{a d v}\left(F, D_{x}\right)
Ladv(F,Dx)。我们使用 L1 损失作为循环一致性损失
L
c
g
c
(
G
,
F
)
\mathcal{L}_{c g c}(G, F)
Lcgc(G,F) 和
L
c
g
c
′
(
G
,
F
)
\mathcal{L}_{c g c}^{\prime}(G, F)
Lcgc′(G,F),权重因子为
λ
1
=
10
\lambda_{1}=10
λ1=10,以及作为身份映射损失
L
i
d
(
G
,
F
)
\mathcal{L}_{i d}(G, F)
Lid(G,F) 和
L
i
d
′
(
G
,
F
)
\mathcal{L}_{i d}^{\prime}(G, F)
Lid′(G,F),权重为
λ
2
=
5
\lambda_{2}=5
λ2=5。
C. 评估
我们使用四个定量指标评估模型性能:
- 均方误差(MSE):测量目标图像和生成图像像素值之间的均方差。其值范围为 [ 0 , ∞ ] [0, \infty] [0,∞];值越低,生成图像的质量越高。
-
- 峰值信噪比(PSNR):定义为信号最大可能功率与噪声功率之比。以分贝表示,值越高表示质量越好。
-
- 视觉信息保真度(VIF):评估测试图像和目标图像之间的信息保留情况。其值范围为 [ 0 , 1 ] [0,1] [0,1],值越高表示合成图像质量越高。
-
- 结构相似性指数度量(SSIM):评估图像之间的结构相似性。其值范围为 [ 0 , 1 ] [0,1] [0,1],值越高表示两幅图像之间的相似性越高。
V. 结果与讨论
表 I 总结了通过平均 10 折的性能指标得到的定量评估结果,
表 1
定量评估。
模型 | γ \gamma γ | MSE ( ↓ ) ( 1 0 − 2 ) (\downarrow)\left(10^{-2}\right) (↓)(10−2) | PSNR ( ↑ ) (\uparrow) (↑) | VIF ( ↑ ) ( 1 0 − 2 ) (\uparrow)\left(10^{-2}\right) (↑)(10−2) | SSIM ( ↑ ) ( 1 0 − 2 ) (\uparrow)\left(10^{-2}\right) (↑)(10−2) |
---|---|---|---|---|---|
CycleGAN | / / / | 0.40 ± 0.11 0.40 \pm 0.11 0.40±0.11 | 26.79 ± 0.54 26.79 \pm 0.54 26.79±0.54 | 17.84 ± 0.83 \mathbf{1 7 . 8 4} \pm \mathbf{0 . 8 3} 17.84±0.83 | 85.32 ± 0.73 85.32 \pm 0.73 85.32±0.73 |
Seg-CycleGAN | 35 | 0.40 ± 0.10 0.40 \pm 0.10 0.40±0.10 | 26.88 ± 0.82 \mathbf{2 6 . 8 8} \pm \mathbf{0 . 8 2} 26.88±0.82 | 17.73 ± 0.26 17.73 \pm 0.26 17.73±0.26 | 85.35 ± 0.74 85.35 \pm 0.74 85.35±0.74 |
100 | 0.40 ± 0.10 0.40 \pm 0.10 0.40±0.10 | 26.84 ± 0.63 26.84 \pm 0.63 26.84±0.63 | 17.46 ± 0.67 17.46 \pm 0.67 17.46±0.67 | 85.37 ± 0.79 \mathbf{8 5 . 3 7} \pm \mathbf{0 . 7 9} 85.37±0.79 |
图 4. 通过比较目标 DES 图像和由 (A) CycleGAN、(B) Seg-CycleGAN 使用
γ
=
35
\gamma=35
γ=35 © 和 Seg-CycleGAN 使用
γ
=
100
\gamma=100
γ=100 生成的合成图像生成的热图。
结果以均值
±
\pm
± 标准差形式报告。为了建立基准,我们首先报告了根据方程 4 定义的损失函数训练的标准 CycleGAN 模型的性能。为了评估结合病灶感知监督的影响,我们将该基准与提出的 Seg-CycleGAN 模型的两种配置进行比较,使用代表性的分割引导权重参数
γ
\gamma
γ 值,具体为
γ
=
35
\gamma=35
γ=35 和
γ
=
100
\gamma=100
γ=100。这些值是基于经验观察选择的,因为缺乏将性能与
γ
\gamma
γ 明确链接的确定性趋势。结果表明,对于两个
γ
\gamma
γ 值,Seg-CycleGAN 在 PSNR 和 SSIM 方面的平均值都高于标准 CycleGAN,表明生成图像的保真度有所提高。值得注意的是,最高的 PSNR 出现在
γ
=
35
\gamma=35
γ=35,表明与目标图像的全局相似性更高,而最高的 SSIM(表明感知和结构对齐)出现在
γ
=
100
\gamma=100
γ=100。虽然标准 CycleGAN 得到了最高的 VIF 分数,但两种 Seg-CycleGAN 变体的 VIF 值仍处于可接受范围内,表明关键的诊断信息内容得到有效保留。MSE 值在所有模型中保持可比性,进一步支持生成过程的稳定性。图 3 展示了一个输入图像、相应的目标图像以及模型生成的输出的视觉示例。具体而言,图的顶部部分显示了一对来自 CESM@UCBM 数据集的 LE 和 DES 图像,分别作为所提模型的输入和目标。这些图像中观察到一个恶性肿瘤团块,由红色框标出。图的底部部分从左到右依次展示了由 CycleGAN、Seg-CycleGAN(
γ
=
35
\gamma=35
γ=35)和 Seg-CycleGAN(
γ
=
100
\gamma=100
γ=100)生成的输出。每张图像中,对应于恶性肿瘤团块的区域均用红色框突出显示。检查输出时可以观察到,所有三个模型对背景组织的重建质量相似,并与目标图像保持一致。然而,当关注病灶区域时,Seg-CycleGAN 模型相对于 CycleGAN 表现出更准确的重建。这种定性评估通过图 4 进一步加强,图 4 显示了热图,说明了三个模型的输出与目标图像之间的误差分布。在每张热图中,对应于恶性肿瘤团块的区域用红色框勾勒出来。热图显示,尽管背景组织的重建误差在所有模型中相似,但病灶区域内的误差在 Seg-CycleGAN 的输出中明显低于 CycleGAN。这突显了在训练过程中结合分割图的好处。
从临床角度来看,这些改进具有重要意义。CESM 图像用于检测和表征可疑病灶,尤其是在致密型乳腺组织的患者中,FFDM 可能不足。通过提高合成 DES 图像的质量和结构准确性,特别是在对应于肿瘤组织的区域中,Seg-CycleGAN 可能支持更准确的计算机辅助诊断系统,或在 DES 图像不可用或不完整的情况下作为可行工具。这最终可以增强放射学工作流程,减少重复成像的需求,并协助更早、更精确地检测乳腺癌。
VI. 结论
本研究介绍了 Seg-CycleGAN,这是 CycleGAN 的增强版本,专为 CESM 中的 VCE 设计,旨在从相应的 LE 图像合成高保真的 DES 图像。通过在训练过程中整合病灶分割图,模型被明确引导以优先考虑肿瘤区域的准确重建。定量结果显示,Seg-CycleGAN 在 PSNR 和 SSIM 方面优于标准 CycleGAN,同时保持可比的 MSE 和仅略降的 VIF。带有热图的定性分析进一步确认了其在提高病灶区域视觉保真度方面的改进能力,而不影响背景一致性。这些发现表明,结合分割感知目标可以提高病灶特定生成质量,为更安全的
无对比剂 CESM 替代方案提供了有希望的一步。然而,在本研究中,分割图仅影响生成器生成图像的过程,而不影响判别器的决策。作为未来的研究方向,可以通过将病灶分割图整合到判别器的训练过程中来扩展架构。这将鼓励模型在区分真实图像和合成图像时更加精确地关注肿瘤区域,从而潜在地提高生成 DES 图像的真实性与诊断相关性。此外,将这种方法整合到多模态诊断流程中可以支持更全面和患者友好的乳腺癌评估。还将重点放在开发多模态可解释的人工智能策略上,使临床医生能够更好地跨成像模态解释模型决策,提高临床应用中的信任和透明度 [16]。
致谢
奥罗拉·罗芬纳是一名注册的博士生,参与了罗马 Campus Bio-Medico 大学组织的国家人工智能博士学位计划,XXXVIII 周期,健康与生命科学课程。本研究部分由以下项目资助:i) PNRR MUR 项目 PE0000013FAIR,ii) Cancerforskningsfonden Norrland 项目 MP23-1122,iii) Kempe 基金会项目 JCSMK24-0094,iv) PNRR M6/C2 项目 PNRR-MCNT22023-12377755,v) 罗马 Campus BioMedico 大学“大学战略项目”计划内的项目“AI-powered Digital Twin for next-generation lung cancEr cAre (IDEA)”。
资源由瑞典国家学术超级计算基础设施(NAISS)和瑞典国家计算基础设施(SNIC)提供,位于 Alvis @ C3SE,部分由瑞典研究委员会通过拨款协议号 2022-06725 和 201805973 资助。
参考文献
[1] M. S. Jochelson 和 M. B. Lobbes,“对比增强乳腺摄影:现状”,Radiology,第 299 卷,第 1 期,第 36-48 页,2021 年。
[2] B. K. Patel,M. Lobbes 和 J. Lewin,“对比增强光谱乳腺摄影:综述”,Seminars in Ultrasound, CT and MRI,第 39 卷,第 1 期。Elsevier,2018 年,第 70-79 页。
[3] V. Guarrasi,F. Aksu,C. M. Caruso,F. Di Feola,A. Rofena,F. Ruffini 和 P. Soda,“多模态深度学习在生物医学应用中的中间融合系统综述”,Image and Vision Computing,第 105509 页,2025 年。
[4] A. Francesconi,L. di Biase,D. Cappetta,F. Rebecchi,P. Soda,R. Sicilia,V. Guarrasi,A. D. N. Initiative 等,“阿尔茨海默病诊断和早期检测的类别平衡多样性多模态集成”,Computerized Medical Imaging and Graphics,第 102529 页,2025 年。
[5] F. Ruffini,L. Tronchin,Z. Wu,W. Chen,P. Soda,L. Shen 和 V. Guarrasi,“用于 COVID-19 预后的多数据集多任务学习”,国际医学图像计算与计算机辅助干预会议。Springer,2024 年,第 251-261 页。
[6] G. Di Teodoro,F. Siciliano,V. Guarrasi,A. M. Vandamme,V. Ghisetti,A. Sönnerborg,M. Zazzi,F. Silvestri 和 L. Palagi,“基于图神经网络的模型,具有离群分布鲁棒性,用于增强 HIV-1 抗逆转录病毒治疗结果预测”,Computerized Medical Imaging and Graphics,第 120 卷,第 102484 页,2025 年。
[7] V. Guarrasi 和 P. Soda,“多目标优化决定何时、哪些以及如何融合深度网络:应用于预测 COVID19 结果”,Computers in Biology and Medicine,第 154 卷,第 106625 页,2023 年。
[8] K. Mogensen,V. Guarrasi,J. Larsson,W. Hansson,A. Wåhlin,L.O. Koskinen,J. Malm,A. Eklund,P. Soda 和 S. Qvarlander,“优化的集成搜索方法用于分类高级步态障碍的脑磁共振图像”,Computers in Biology and Medicine,第 184 卷,第 109457 页,2025 年。
[9] V. Guarrasi 和 P. Soda,“优化 CNN 融合以诊断胸部 X 光片上的肺部疾病”,国际图像分析与处理会议。Springer,2022 年,第 197-209 页。
[10] Y. Jiang,Y. Zheng,W. Jia,S. Song 和 Y. Ding,“使用基于 cGAN 的合成网络从低能量乳腺摄影合成对比增强光谱乳腺摄影”,医学图像计算与计算机辅助干预-MICCAI 2021:第 24 届国际会议,法国斯特拉斯堡,2021 年 9 月 27 日至 10 月 1 日,会议记录,第 VII 部分 24。Springer,2021 年,第 68-77 页。
[11] A. Rofena,V. Guarrasi,M. Sarli,C. L. Piccolo,M. Sammarra,B. B. Zobel 和 P. Soda,“用于对比增强光谱乳腺摄影虚拟对比增强的深度学习方法”,Computerized Medical Imaging and Graphics,第 116 卷,第 102398 页,2024 年。
[12] A. Rofena,C. L. Piccolo,B. B. Zobel,P. Soda 和 V. Guarrasi,“使用生成式人工智能在乳腺癌多模态虚拟活检中的增强智能”,arXiv 预印本 arXiv:2501.19176,2025 年。
[13] P. Isola,J.-Y. Zhu,T. Zhou 和 A. A. Efros,“使用条件对抗网络的图像到图像翻译”,IEEE 计算机视觉与模式识别会议论文集,2017 年,第 1125-1134 页。
[14] J.-Y. Zhu,T. Park,P. Isola 和 A. A. Efros,“使用循环一致对抗网络的非配对图像到图像翻译”,IEEE 国际计算机视觉会议论文集,2017 年,第 2223-2232 页。
[15] R. Khaled,M. Helal,O. Alfarghaly,O. Mokhtar,A. Elkorany,H. El Kassas 和 A. Fahmy,“用于诊断和人工智能研究的分类对比增强乳腺摄影数据集”,Scientific Data,第 9 卷,第 1 期,第 1-10 页,2022 年。
[16] V. Guarrasi,L. Tronchin,D. Albano,E. Faiella,D. Fazzini,D. Santucci 和 P. Soda,“通过潜在偏移实现多模态可解释性在 COVID-19 分层中的应用”,Pattern Recognition,第 156 卷,第 110825 页,2024 年。
参考论文:https://arxiv.org/pdf/2505.03018