文献速递：深度学习医学影像心脏疾病检测与诊断--基于迁移学习的生成对抗网络用于静态和动态心脏PET的衰减校正

Title 

题目

Transfer learning‑based attenuation correction for static and dynamic cardiac PET using a generative adversarial network

基于迁移学习的生成对抗网络用于静态和动态心脏PET的衰减校正

01

文献速递介绍

心脏正电子发射断层扫描（PET）已被认为是评估冠心病心肌灌注（MP）的黄金标准，并在临床中越来越多地被使用。灌注放射标记物通常包括[15O]水、[13N]氨、[82Rb]氯化物和[11C]乙酸，每种都具有不同的灌注特性。此外，来自动态MP PET的示踪物动力学建模提供了全球和左心室区域功能的定量参数，例如心肌血流（MBF）和心肌血流储备（MFR），用于临床诊断和预后评估。MBF和MFR参数估计的准确性取决于多个物理因素的校正，包括衰减、散射、随机符合、死时间和图像重建过程中的衰变。在这些因素中，光子衰减对MP PET定量准确性产生重大影响，导致图像对比度低、艺术品严重，影响后续定量分析和临床诊断。

随着PET/CT的出现和在临床实践中的广泛应用，基于CT的衰减校正（CTAC）通常用于PET衰减校正（AC）。然而，CTAC受到基于CT的艺术品传播的限制，以及PET和CT之间的潜在不匹配，尤其是由于呼吸运动引起的膈肌区域。另一方面，通常为MP PET实施列表模式采集，其中数据可以事后分成不同的帧用于动态或门控协议。然后，可以将CT图像与每个PET帧对齐进行校正。然而，CT和PET的配准仍然具有挑战性。此外，由于金属植入物，如起搏器和可植入式心脏除颤器，在CT上的金属艺术品可能会传播到CTAC PET图像，导致潜在的不准确的定量分析。此外，CT辐射与辐射诱发的癌症和癌症死亡有关，特别是对于辐射敏感的儿科患者。对于PET/MR扫描仪，CTAC也不可用。因此，对于MP PET，无CT补偿的方法具有巨大的临床价值。

最近，深度学习（DL）在PET AC方面显示出巨大潜力。几种DL方法从MR图像中生成伪CT或µ图用于脑部和盆腔区域的PET AC。其他DL方法从未经衰减校正（NAC）的PET图像中生成伪CT或AC PET图像，而不需要结构信息的输入。这些方法的可行性已经在脑部或全身PET数据上得到证实。然而，由于不同帧之间计数统计和示踪物分布的巨大差异，这些方法可能不能直接应用于动态MP PET。其他DL方法旨在改进同时活动和衰减重建的输出，但这些方法难以应用于非飞行时间PET。此外，传统的基于DL的AC方法需要大量的训练数据，这限制了基于DL的AC方法的临床应用。因此，引入了迁移学习（TL）来通过将从其他领域和任务中学到的知识转移到少量目标训练数据中，以开发稳健的目标模型。TL通过微调（FT）策略重新使用预训练模型用于新的相关任务。据报道，与有限样本训练相比，TL改善了基于DL的AC性能，并加速了新扫描仪和示踪剂上基于DL的AC的临床应用。

在这项工作中，我们展示了使用生成对抗网络（GAN）在重建域中直接从NAC PET图像生成AC PET图像的可行性，用于静态和动态[13N]氨MP PET。据我们所知，这是首个使用DL进行静态和动态心脏PET AC的研究。我们通过基于U-net的生成器和基于卷积神经网络（CNN）的判别器开发了一个3D pix2pix框架。对于静态心脏PET（S-PET）AC，网络通过成对的静态NAC（S-NAC）和静态CTAC（S-CTAC）PET图像进行端到端训练。对于动态心脏PET（D-PET）AC，成对的动态NAC（D-NAC）和动态CTAC（D-CTAC）PET帧被用作网络输入和标签。此外，我们采用了TL进行D-PET AC，在此TL中，预先训练的S-DLAC模型通过对动态PET图像进行DL AC（D-DLAC-FT）微调。使用CTAC PET作为参考进行不同AC方法的定性和定量评估。

Abstract

摘要

The goal of this work is to demonstrate the feasibility of directly generating attenuation-corrected PET images from non-attenuation-corrected (NAC) PET images for both rest and stress-state static or dynamic [13N]ammonia MP PET based on a generative adversarial network.

这项工作的目标是展示利用生成对抗网络从非衰减校正（NAC）PET图像直接生成衰减校正的PET图像的可行性，适用于静态或动态[13N]氨MP PET的静息和应激状态。

Method

方法

We recruited 60 subjects for rest-only scans and 14 subjects for rest-stress scans, all of whom underwent [ 13N]ammonia cardiac PET/CT examinations to acquire static and dynamic frames with both 3D NAC and CT-based AC (CTAC) PET images. We developed a 3D pix2pix deep learning AC (DLAC) framework via a U-net+ResNet-based generator and a convolutional neural network-based discriminator. Paired static or dynamic NAC and CTAC PET images from 60 rest-only subjects were used as network inputs and labels for static (S-DLAC) and dynamic (D-DLAC) training, respectively. The pre-trained S-DLAC network was then fne-tuned by paired dynamic NAC and CTAC PET frames of 60 rest-only subjects to derive an improved D-DLAC-FT for dynamic PET images. The 14 rest-stress subjects were used as an internal testing dataset and separately tested on diferent network models without training. The proposed methods were evaluated using visual quality and quantitative metrics.

我们招募了60名仅进行静息扫描的受试者和14名进行静息-应激扫描的受试者，所有受试者均接受了[13N]氨心脏PET/CT检查，以获取带有3D NAC和基于CT的衰减校正（CTAC）PET图像的静态和动态帧。我们通过基于U-net+ResNet的生成器和基于卷积神经网络的判别器开发了一个3D pix2pix深度学习衰减校正（DLAC）框架。来自60名仅进行静息扫描受试者的成对静态或动态NAC和CTAC PET图像被用作静态（S-DLAC）和动态（D-DLAC）训练的网络输入和标签。然后，预训练的S-DLAC网络通过60名仅进行静息扫描受试者的成对动态NAC和CTAC PET帧进行微调，以得到改进的动态PET图像的D-DLAC-FT。14名静息-应激受试者被用作内部测试数据集，并在不同的网络模型上进行了分开测试，而无需训练。提出的方法使用视觉质量和定量指标进行评估。

Results

结果

The proposed S-DLAC, D-DLAC, and D-DLAC-FT methods were consistent with clinical CTAC in terms of various images and quantitative metrics. The S-DLAC (slope=0.9423, R2=0.947) showed a higher correlation with the reference static CTAC as compared to static NAC (slope=0.0992, R2=0.654). D-DLAC-FT yielded lower myocardial blood fow (MBF) errors in the whole left ventricular myocardium than D-DLAC, but with no signifcant diference, both for the 60 rest-state subjects (6.63±5.05% vs. 7.00±6.84%, p=0.7593) and the 14 stress-state subjects (1.97±2.28% vs. 3.21±3.89%, p=0.8595).

所提出的S-DLAC、D-DLAC和D-DLAC-FT方法在各种图像和定量指标上与临床CTAC一致。与静态NAC相比，S-DLAC（斜率=0.9423，R2=0.947）与参考静态CTAC的相关性更高（斜率=0.0992，R2=0.654）。D-DLAC-FT在整个左心室心肌中的心肌血流（MBF）误差低于D-DLAC，但两者之间没有显著差异，对于60名静息状态受试者（6.63±5.05% vs. 7.00±6.84%，p=0.7593）和14名应激状态受试者（1.97±2.28% vs. 3.21±3.89%，p=0.8595）。

Conclusion

结论

The proposed S-DLAC, D-DLAC, and D-DLAC-FT methods achieve comparable performance with clinical CTAC. Transfer learning shows promising potential for dynamic MP PET.

所提出的S-DLAC、D-DLAC和D-DLAC-FT方法在与临床CTAC相比表现出可比较的性能。迁移学习显示了动态MP PET的潜在前景。

Figure

图

Fig. 1 Schematic diagram of the proposed D-DLAC method

图 1 提出的 D-DLAC 方法的示意图

Fig. 2 Schematic diagram of the proposed a S-DLAC and D-DLACFT, and b D-DLAC-NFT methods

图 2 提出的 a S-DLAC 和 D-DLAC-FT，以及 b D-DLAC-NFT 方法的示意图

Fig. 3 Comparison of the vertical long axis (VLA), horizontal long axis (HLA), and short axis (SA) images of S-CTAC, S-NAC, and S-DLAC of a rest-state male (left) subject and a stress-state female (right) subject. The corresponding polar maps and 17-segment error maps are also shown. Attenuation artifacts are marked by white arrows

图 3 静息状态男性（左侧）和应激状态女性（右侧）受试者的垂直长轴（VLA）、水平长轴（HLA）和短轴（SA）图像的S-CTAC、S-NAC和S-DLAC比较。还显示了相应的极地图和17段错误图。衰减伪影由白色箭头标记

Fig. 4 Schematic diagram of 17-segment polar map (right) and box plots (left) of the 17-segment errors percentage of S-NAC and S-DLAC images versus S-CTAC images as the reference across all subjects in the 5-fold cross-validation group. The line inside the box is the median. The top and bottom lines of the box are the frst and third quartiles, respectively. The whiskers extend from 5 to 95%

图 4 17段极地图的示意图（右侧）和在5倍交叉验证组中所有受试者的S-NAC和S-DLAC图像与S-CTAC图像作为参考的17段错误百分比的箱线图（左侧）。箱子内的线是中位数。箱子的顶部和底部线分别是第一和第三四分位数。须从5%延伸到95%。

Fig. 5 Comparisons of the voxel-based analysis results for all frames of D-NAC, D-DLAC-NFT, D-DLAC, and D-DLAC-FT in the 5-fold cross

validation group

图 5 在5倍交叉验证组中比较D-NAC、D-DLAC-NFT、D-DLAC和D-DLAC-FT所有帧的基于体素的分析结果

Fig. 6 Sample short axis images of frame #4, frame #15, frame #19, and frame #21 of the reference D-CTAC, D-NAC, D-DLAC-NFT, D-DLAC, and D-DLAC-FT for a rest-state male (left) subject and a stress-state female (right) subject. Attenuation artifacts are marked by white arrows

图 6 静息状态男性（左侧）受试者和应激状态女性（右侧）受试者的参考D-CTAC、D-NAC、D-DLAC-NFT、D-DLAC和D-DLAC-FT的样本短轴图像，显示第4帧、第15帧、第19帧和第21帧。衰减伪影由白色箭头标记

Fig. 7 The time activity curves of RV blood pool, LV blood pool, and LV myocardial regions from D-CTAC, D-NAC, D-DLAC-NFT, D-DLAC, and D-DLAC-FT images for a a rest-state male subject, ba rest-state female subject, and c a stress-state female subject. The red regions show the RV blood pool, LV blood pool, and LV myocardial ROIs

图 7 来自D-CTAC、D-NAC、D-DLAC-NFT、D-DLAC和D-DLAC-FT图像的RV血池、LV血池和LV心肌区域的时间-活动曲线，分别针对 a 静息状态男性受试者、 b 静息状态女性受试者和 c 应激状态女性受试者。红色区域显示RV血池、LV血池和LV心肌ROI

Fig. 8 The polar maps and 17-segment errors percentage of MBF from diferent methods for a** a rest-state male subject, b a rest-state female subject, and c a stress-state female subject

图 8 不同方法的MBF极地图和17段误差百分比，分别针对 a 静息状态男性受试者、 b 静息状态女性受试者和 c 应激状态女性受试者

Fig. 9 Regression plots of MBF in the whole LV myocardium across all subjects for the D-NAC, D-DLAC-NFT, D-DLAC, and D-DLAC-FT methods using D-CTAC as the reference

图 9 使用D-CTAC作为参考，在所有受试者中比较D-NAC、D-DLAC-NFT、D-DLAC和D-DLAC-FT方法在LV全心肌中的MBF的回归图

Fig. 10 Bland–Altman plots of MBF in the whole LV myocardium for the D-NAC, D-DLAC-NFT, D-DLAC, and D-DLAC-FT methods versus the reference D-CTAC

图 10 D-NAC、D-DLAC-NFT、D-DLAC和D-DLAC-FT方法与参考D-CTAC在LV全心肌中的MBF的Bland–Altman图

Table

表

Table 1 Patient characteristics  in this study

表格 1 本研究中的患者特征

Table 2 The voxel-based analysis results (mean±SD) for all static [13N]ammonia PET images. p values of the paired t-test of S-NAC and S-DLAC were also given for diferent datasets. N represents the number of related samples in each paired t-test

表格 2 所有静态[13N]氨PET图像的基于体素的分析结果（均值±标准差）。对于不同数据集，还给出了S-NAC和S-DLAC成对t检验的p值。N代表每个成对t检验中相关样本的数量

Table 3 The voxel-based analysis results (mean±SD) for all dynamic [ 13N]ammonia PET frames. p values of the Wilcoxon signed-rank test of D-DLAC-FT and other methods were also given for diferent datasets. N represents the number of related samples in each Wilcoxon signed-rank test

表格 3 所有动态[13N]氨PET帧的基于体素的分析结果（均值±标准差）。还提供了D-DLAC-FT和其他方法的Wilcoxon符号秩检验的p值，针对不同的数据集。N*表示每个Wilcoxon符号秩检验中相关样本的数量。

Table 4 The MBF results (mean±SD) in the whole LV myocardium, LAD, LCX, and RCA for all dynamic [13N]ammonia PET subjects. p values of the paired t-test of D-DLAC-FT and other methods were also given for diferent datasets. N* represents the number of related samples in each paired t-test

表格 4 所有动态[13N]氨PET受试者的LV全心肌、左前降支（LAD）、左循环（LCX）和右冠状动脉（RCA）的MBF结果（均值±标准差）。还提供了D-DLAC-FT和其他方法的成对t检验的p值，针对不同的数据集。N表示每个成对t检验中相关样本的数量

Table 5 The MBF errors (mean±SD) in the whole LV myocardium, LAD, LCX, and RCA for diferent methods across all dynamic [13N]ammonia PET subjects using D-CTAC as the reference

表格 5 使用D-CTAC作为参考，在所有动态[13N]氨PET受试者中比较不同方法在LV全心肌、LAD、LCX和RCA的MBF误差（均值±标准差）