OctYZ的博客

将不同模态的图像分别作为 Content 图像与 Style 图像作为输入查看融合结果， 将两个模态的输入进行互换再次查看输出结果。在每个特征层中，每个数字代表了特定位置的特定卷积核卷积所得到的结果，反映了相应特征的显著程度和两两特征之间的相关性。PET 图像的分辨率 为 168×168，CT 图像的分辨率为 512×512。Gram 矩阵是一种基于特征表示的统计方法，通常用于计算输入图像的风格信息。Gram 矩阵的计算可以通过将该特征图重塑为一个大小为 C×H×W 的矩阵，

基于GAN的融合方法存在训练不稳定，提取图像的局部和全局上下文语义信息能力不足，交互融合程度不够等问题。

基于深度学习的多模态医学图像融合算法仍是主流方法。最新的方法进展不但运用了深度学习模型，而且在特征提取阶段结合了传统方法以优化细节，提高融合质量。