CycleGAN在医学图像中的应用

---

一、利用CycleGAN完成CBCT到CT的转换

LIANG, XIAO, CHEN, LIYUAN, DAN NGUYEN, et al. Generating synthesized computed tomography (CT) from cone-beam computed tomography (CBCT) using CycleGAN for adaptive radiation therapy[J]. Physics in medicine and biology.,2019,64(12):125002. DOI:10.1088/1361-6560/ab22f9.
目的：基于锥形束CT图像合成CT图像，并保留重要的解剖结构

生成器：典型的UNet结构

判别器：PatchGAN

实验结果：

---

二、beta-CycleGAN：去除金属伪影

提示：金属伪影去除问题可以被视为从金属伪影图像到无金属伪影图像的分布转换问题。cycleGAN通过最小化源域和目标域中的统计距离，在两个概率空间之间执行无监督分布匹配。

重要贡献：在cycleGAN中引入一个重要的超参数，可以控制特征分离的水平。其灵感来自beta-VAE。

正文简要介绍：
从此文第一篇文章“利用CycleGAN完成CBCT到CT的转换”，可以看到虽然CycleGAN虽然在自然图像中有很好的表现，但是对于医学图像貌似其效果不佳。但CycleGAN作为一个很好的无监督图像转换的网络，自然就有人会基于它进行改变使其应用于医学图像。该篇文章就是对CycleGAN进行改进，应用于去除图像的金属伪影。

这篇文章的思路是借鉴于beta-VAE，beta-VAE的目标是学习独立的特征，让某种特征对应某个生成因素，而独立于其他因素。理论上说，如果我们把金属伪影视为一种独立的特征，那么我们将这一特征进行迁移，那就可以去除伪影。

那beta-VAE是如何进行操作的呢？
简单说，它是在KL项添加了一个超参数beta，使KL项更小。而我们知道，KL一种衡量两个概率分布的匹配程度的指标，两个分布差异越大，KL散度越大。借鉴于这种思路，CycleGAN的原理就是在衡量两种概率分布的匹配程度。就拿循环损失来说，我们输入一张无伪影的图像X，通过生成器F我们会得到一张有伪影的Y，再通过生成器G我们会得到一张无伪影的X’，我们希望X和X’具有相匹配的概率分布。
既然beta-VAE是在KL项增加beta，那我们自然就会想到在计算X和X’的距离时也添加一个参数beta。

也就是说，在计算循环损失(X和X’距离）时添加beta。

原始的损失函数：

其中：


借鉴于beta-VAE，循环损失改写为如下形式：

另外考虑到，在实际应用中我们可能把 x 输入G_theta 这种将输入颠倒的情况，所以该篇文章添加了身份认证损失，当我们将x输入G_theta时，输出还是x. 可以用以下认证损失表示：

最后的损失为：

损失函数计算图：

生成器：UNet+CBAM

CBAM（convolutional block attention module ）结构：通道注意力模块+空间注意力模块

multi-layer-perceptron（MLP)

判别器：PatchGAN