读论文《Adaptive Convolutional Dictionary Network for CT Metal Artifact Reduction》IJCAI2022

题目：自适应卷积字典网络用于CT金属伪影还原

任务：CT金属伪影去除 MAR

论文地址：arxiv.org/pdf/2205.07471

项目地址：GitHub - hongwang01/ACDNet: 【IJCAI2022】Adaptive Convolutional Dictionary Network for CT Metal Artifact Reduction

该项目在目前使用下来效果比较好的，本博客先讲论文，如果大家复现有问题可以直接私信我或者等我心血来潮更新个代码讲解

论文还是能省就省，方便大家尽快去复现

摘要

        受深度神经网络巨大成功的启发，基于学习的方法在计算机断层扫描(CT)图像的金属伪影还原(MAR)方面取得了很好的效果。然而，大多数现有方法都不太强调建模和将特定MAR任务的内在先验知识嵌入到其网络设计中。

        针对这个问题，我们提出了一种自适应卷积字典网络(ACDNet)，它利用了基于模型和基于学习的方法。具体来说，我们探索了金属伪影的先验结构，例如，非局部重复条纹图案，并将其编码为显式加权卷积字典模型。然后，精心设计了一种简单有效的算法来求解该模型。通过将所提出算法的每个迭代子步骤展开为网络模块，我们显式地将先验结构嵌入到深度网络中，即MAR任务的清晰可解释性。此外，我们的ACDNet可以通过训练数据自动学习无伪影CT图像的先验，并根据每个输入CT图像的内容自适应调整其表示核。

        因此，我们的方法既继承了基于模型的方法清晰的可解释性，又保持了基于学习的方法强大的表示能力。在综合和临床数据集上进行的综合实验表明，我们的ACDNet在有效性和模型泛化方面具有优势。

介绍

        首先介绍了金属伪影的危害，巴拉巴拉……

        针对这种金属伪影还原(MAR)任务，传统的基于模型的方法侧重于通过使用不同的估计策略(如线性插值(LI) [Kalender etal .， 1987]和归一化MAR [Meyer etal .， 2010])填充sinogram金属影响区域来重建伪影还原的CT图像。

记住这个LI，在项目中作为input的一项，复现的时候如果要自己的数据集，需要自行添加LI方法，如果没有找到，同样可以联系我

        近些年转为深度学习的方法，巴拉巴拉……

        目前大多数深度MAR工作较少关注探索特定MAR任务的固有先验知识，例如金属伪像的非局部条纹结构(见图1)。

提出了一种加权卷积字典模型来编码金属伪像A为(D∗K)⊗m。其中字典D是样本不变的，加权系数K是样本变的。通过更新K，工件的表示核(即D * K)可以自适应地推断每个输入图像Y。

 在本文中，我们提出了一个显式模型来编码MAR任务的先验观测结果，并将其完全嵌入到自适应卷积字典网络(即ACDNet)中。该框架既继承了基于模型的方法清晰的可解释性，又保持了基于学习的方法强大的表示能力。综上所述，我们的主要贡献可归纳为:

        1)先验公式。自适应地将每个金属损坏的CT图像中的伪像编码为加权卷积字典(WCD)模型(见图1)。

        2)先验嵌入和可解释性。提出了一种算子简单的迭代算法，通过将每个迭代步骤展开为相应的网络模块，可以轻松地构建ACDNet。

        3)精细泛化。通过对显式WCD模型的正则化，ACDNet可以更准确地提取符合先验结构的工件。

2 Methodology

2.1加权卷积字典模型

对于观察到的金属损坏的CT图像Y，它由金属部分和非金属部分两个区域组成。由于金属通常比正常组织具有更高的CT值，我们忽略金属区域的信息，努力重建Y的非金属区域。因此，可推导出分解模型为:

其中I是二元非金属掩模,X为待估计的干净CT图像;A为待提取的金属伪影; element-wise乘法

由式(1)可知，从Y估计X和A是一个不适定逆问题。我们探索了MAR任务的特定先验结构，然后提出了一种将其明确嵌入深度网络的策略。

Prior Formulation

具体而言，我们发现对于不同的金属影响CT图像，金属伪影具有大致相同的模式，例如非局部重复条纹结构。此外，由于正常组织与金属伪影的相互影响，不同CT图像中金属伪影的形态并不完全相同，通常具有一些特定的特征，如金属伪影的像素强度在不同的金属损坏CT图像中存在差异。基于这些先前的观察，我们制定了一个加权卷积字典(WCD)模型，将金属伪影a编码为[Wang etal .， 2021d]:

D是不变的样本字典，表示不同金属损坏CT图像中金属伪影的共同局部模式

K 是一个样本加权系数，通过计算D∗Kn 

M 为表示金属人工制品局部图案位置的系数;P是卷积滤波器的大小;d是字典d中过滤器的总数

N是编码伪产物A的滤波器的实际数目;

结合前两个公式

在最大后验框架下，优化问题为:

 f函数是正则化函数，分别传递K、M、X的先验知识;α， β和γ是正则化权值。

2.2优化算法

问题(1)的传统求解方法通常涉及复傅立叶变换和反傅立叶变换，难以集成到深度网络中。为此，我们设计了一种新的仅使用简单运算符的优化算法。具体来说，采用近端梯度技术[Beck and Teboulle, 2009]交替更新K、M和X:

K：从问题(1)开始，在(t+1)次迭代时，K的解为:

 问题(6)中目标函数的二次逼近：

 g 是步长。因此，我们可以得到如下等式:

 

对于一般先验f1(·)[Donoho, 1995]，推导出式(9)为

 M、X 同理，优化其实没必要死磕

3 Network Design and Analysis

(a)拟议的ACDNet由T个阶段组成。(b) K(t+1)、M(t+1)、X(t+1)分别由K-net、M-net、X-net根据方程依次更新的任一阶段的详细结构。(10)、(12)、(14)。

我们通过将2.2节中的迭代算法展开到相应的网络结构中，专门为MAR任务设计了一个自适应卷积字典网络(ACDNet)。

图2 (a)显示了整个网络结构，其中有T个阶段，对应2.2节优化算法的T次迭代。对于每个阶段，我们的网络由三个子网组成，即K-net, M-net和X-net，分别解决三个子问题，即分别解决K, M和X。图2 (b)显示了每个阶段的详细网络连接，它们分别通过依次展开迭代规则，即Eq.(10)、Eq.(12)和Eq.(14)来构建。通过展开运算，每个网络模块对应所提出的优化算法的具体迭代步骤。因此，整个网络框架具有明确的物理可解释性。下面我们详细介绍了子网的信息:

K 举例：

K-net:在(t+ 1)-阶段，计算K(t+0.5)并将其馈送到proxNetθ (t K +1)(·)以执行算子proxαη1(·)。则更新后的权重系数为:K(t+1) = proxNetθ (t K +1)

ProxNet:用ResNet设置了近端算子。

可解释性:与、ACDNet是在优化算法的指导下自然构建的，并精心设计了数据保真度术语。

损失函数。在每个阶段对提取的伪影A(t)和CT图像X(t)进行监督的情况下，训练损失为:

实现细节。ACDNet通过基于PyTorch的Adam优化器进行优化。该框架在批处理大小为32的NVIDIA Tesla V100-SMX2 GPU上进行训练。初始学习率为2 × 10−4，在epoch[50, 100, 150, 200]处除以2。epoch的总数是300。输入图像补丁大小为64 × 64像素，水平和垂直随机翻转。SM中包含了更多的解释 

实验

就放几张图啦，有代码大家可以自行复现