金属伪影减少MAR问题
2019年CVPR文章“DuDoNet: Dual Domain Network for CT Metal Artifact Reduction” 1和后续进展DuDoNet++ “Encoding Metal Mask Projection for Metal Artifact Reduction in Computed Tomography” 2
金属伪影的成像原理
金属伪影即是一种常见的CT图像伪影,这种伪影常见于具有两种及两种以上的组成材料,且材料之间具有较大密度差异的扫描对象,比如存在金属填充物的牙齿、带有假肢的关节等。金属伪影具体表现为,高密度材料四周会产生杂乱无章的发射状条形伪影,高密度材料与高密度材料之间会产生暗条纹带状伪影。金属伪影不仅降低了CT图像的对比度,而且会侵蚀扫描对象的真实结构。
金属伪影示意图
黄色为金属,条纹为金属伪影,使图像质量严重下降,影响诊断结果的判别
metal artifact reduction (MAR)
金属伪影减少(MAR)问题难点主要有两个:
- 金属是结构化且非局部的,因此简单的图像域增强方法是不够的
- 由于正弦图不一致,减少投影域中的金属伪影的会导致严重的二次伪影
MAR方法分类
传统的MAR算法可分为三类:迭代重建、图像域MAR和sinogram域MAR
迭代重建
迭代方法通常耗时且需要手工调节,这限制了它们的实际应用。
图像域MAR方法
图像域方法通过图像处理技术直接估计并去除原始污染图像中的条带伪影,但在抑制伪影方面效果有限。
Sinogram域MAR方法
Sinogram域方法将Sinogram中的金属影响区域视为缺失,用插值或正演投影代替,但是插值后会在重建图像中产生强烈的二次伪影。
DuDoNet
宏观效果如下:有效的减少金属伪影并恢复细节
网络框架
该网络包括三个部分:
正弦图增强网络(SE-Net)、反演层(RIL)、图像增强网络(IE-Net)
- 正弦图增强网络(SE-Net):
输入是由金属伪影的正弦图Y和金属掩模投影二值化Mt线性插值的YLI和金属掩模投影二值化Mt组成,输出是增强的金属伪影的正弦图的Yout,掩模金字塔U-Net架构,保留了多尺度的金属掩模信息。 - 图像增强网络(IE-Net):
输入是由SE-Net的输出Yout反投影到图像域的X^和YLI反投影到图像域的XLI组成,输出是增强的金属伪影的图像域图像的Xout,IE-Net通过残差学习精炼CT图像。 - 反演层(RIL):
RIL使用滤波反投影(FBP)算法重建CT图像
创新点
- 端到端的可训练的双域网络(DuDoNet),可同时恢复正弦图的一致性并增强CT图像
- 新颖的RIL反演层,可以使梯度从图像域向正弦图域进行反向传播
- 掩模金字塔(MP)U-Net,保留了多尺度的金属掩模信息,改进了小金属植入物的表现
- 提出RC损失,以惩罚图像域中的二次伪影
不足
- SE网络中,利用二值化的金属轨迹图来表示正弦图中金属的存在,理论上证明这种二值化的映射是一种相当粗糙的表示
- 对线性插值的正弦曲线和相应的重建CT进行了对偶域增强,这一过程经常导致不良的二次伪影,这使得学习困难,特别是当金属植入物很大的时候。伪影缩小后的图像往往-在高密度材料(如骨骼)周围过度平滑和严重扭曲。
- 使用有限的投影角度和光线对训练数据进行了仿真
DuDoNet++
网络结构
该网络也包括同样的三个部分:
正弦图增强网络(SE-Net)、反演层(RIL)、图像增强网络(IE-Net)
改进的点
- 正弦图增强网络(SE-Net)的输入:
1.由金属伪影的正弦图Sma和金属掩模投影二值化Mt线性插值的SLI改进成了直接利用带金属伪影的正弦图Sma,不用线性插值了。
2.金属掩模投影二值化Mt改进成了原始金属掩模的投影Mp - 图像增强网络(IE-Net)的输入:
1.由SLI反投影到图像域的XLI改进成了带金属伪影的图像域图像Xma
2.增加了原始金属掩模M concatenate输入
贡献
- 提出了Encoding Metal Mask Projection方法,直接利用带金属伪影的正弦图和图像,同时使用了原始金属掩模的投影
- 对于SE-Net,采用U-Net结构以原始的金属掩模投影为输入,并对其进行编码,以最大限度地利用掩模投影的知识。
- 对于IE- net,直接使用受金属影响的图像和原始金属掩模作为输入,而不是使用由线性插值正弦图重建的合成图像。
- 还引入了一种针对正弦图设计的填充方案sinogram padding,通过增加投影角度和射线的数量来避免采样不足的影响