Artifact and Detail Attention Generative AdversarialNetworks for Low-Dose CT Denoising阅读笔记

已于 2022-04-22 15:34:10 修改
阅读量4.1k 收藏 7
点赞数
分类专栏： 论文阅读 文章标签： 生成对抗网络 图像处理 计算机视觉 深度学习
于 2022-04-22 15:30:47 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wangtao990503/article/details/124336798
版权

目录

摘要

介绍

方法

A. Generator Architecture

B. Discriminator Structure

C. Loss Function

实验结果和分析

A. Experimental Settings

B. Parameter Selection

摘要

  1. 提出了一种多通道生成器：主特征提取通道+伪影和噪声关注通道+边缘噪声关注通道。
  2. 提出了一种称为多尺度Res2Net鉴别器的新结构，通过提取图像同一尺度下的多尺度特征来扩展模块中的感受野，以提高鉴别器的鉴别能力。
  3. 根据上述革新，设计了专门的损失函数。

介绍

图1. 常规剂量CT图像（NDCT）和低剂量CT图像（LDCT）

作者分别分析了传统、CNN、GAN在该领域的进展：传统方法输出图像过于平滑或引入新的噪声，算法的鲁棒性和泛化能力有待提高；CNN的特征提取能力受到数据集、硬件资源和运行时间的限制，只有在大的情况下才能获得更好的去噪结果；GAN网络的稳定性有待提高。

此文主要贡献如下：

  1. 提出了一种多通道训练生成器结构。在主特征提取通道的基础上，增加了伪影和噪声注意通道以及边缘特征注意通道，以提高对不同类型信息的分类和处理能力。

  2. 在伪影和噪声注意通道中，设计了一个基于LSTM的递归注意子网络来捕捉条纹伪影的周期性变化，从而提高网络对条纹伪影的估计能力。在边缘特征注意通道中，设计了边缘特征提取模块来捕获LDCT图像的边缘特征，从而弥补多级去噪带来的边缘和结构信息的损失。

  3. 为了提高鉴别器的能力和生成对抗网络的稳定性，提出了一种多尺度Res2Net鉴别器，该鉴别器能够在多个尺度上表达图像特征，并扩展了网络各层的感受野。

  4. 为了保证网络的整体去噪性能，除了传统的全局L1损失外，还针对去噪网络的每个子通道提出了与其功能相对应的改进损失函数。

方法

本文提出的网络的工作分为两部分，两者相互补充：

  • 去噪：将LDCT图像输入到主特征提取通道，获取图像的主要特征，保证了网络的基本去噪功能。其次，为了提高网络提取噪声和伪影的能力，将伪影和噪声注意通道提取的伪影掩模图像作为辅助特征发送到主特征提取子通道以获得伪影图像。最后，从LDCT图像中减去所生成的伪影图像，以获得初步去噪图像。
  • 边缘增强：考虑到图像的边缘信息可能在多次去噪过程中丢失和过平滑，边缘特征注意通道提取的特征图用于补充初步去噪图像的边缘特征。
图2. ADAGAN Network

A. Generator Architecture

如图2所示。在去噪过程中，主要特征提取通道用于提取图像的主要特征，伪影和噪声注意通道和边缘特征注意通道用于提取补充特征，然后输入到主要特征通道。伪影和噪声注意通道用于从LDCT图像中提取干扰信息的掩蔽特征。边缘特征注意通道用于从LDCT图像中提取有用信息的特征，例如组织边缘细节。

三个特征提取通道具体结构如下：

  1. 主特征提取通道：由前端、中端、末端三部分组成。通道前端包括三个密集连接的模块，内核大小分别为3 × 3、5 × 5和7 × 7。这种设计保证了去噪网络对图像主要特征的有效提取。中间部分由具有不同感受野的四个并行下采样-上采样组成。在下采样过程中，平均池层的核大小分别为32 × 32、16 × 16、8 × 8和4 × 4。在上采样过程中，采用最近插值方法将特征上采样到它们的原始大小。在下采样和上采样之间使用具有两个滤波器的卷积层，核大小为1 × 1，步长为1。末端细化网络包括两个卷积层，步长为1，核大小为7 × 7 和 3 × 3。第一个卷积层有八个滤波器，然后是ReLU。第二个卷积层有三个滤波器，然后是Tanh。
  2. 伪影和噪声注意通道: 考虑到CT图像中的条纹伪影具有周期性变化，作为一种特殊的递归神经网络，具有记忆功能的LSTM适合处理具有周期性变化的信号，它可以有效地从具有一定顺序的样本中学习规则。受循环注意思想的启发，设计了基于LSTM的循环注意模块来提取伪像和噪声掩模特征，以提高网络注意LDCT中的伪像和噪声的能力。它的损失函数使用伪像掩模的约束。生成二值伪像掩模的过程如下:首先，从LDCT中减去NDCT，得到理想的伪像图像。其次，采用自适应阈值获得二值伪影掩模，即将阈值以上的像素值设为1，阈值以下的像素值设为0，以此来判断像素是否属于伪影区域。在本文中，Otsu_threshold算法用于在迭代期间自适应地选择对应于最小类内方差的最佳阈值。其结构包括四个回路。每个环路由5个ResNets、1个LSTM单元和1个卷积层组成[32]，这保证了网络的多尺度和多级伪影特征提取以及其提取周期性伪影特征的能力。
  3. 边缘特征注意通道: 该通道使用由总方差生成的NDCT的边缘特征图作为约束。该通道的结构包括两个边缘特征提取块。每个边缘特征提取块由一个卷积层组成，其中卷积核的大小为3 × 3，步长为1。这种设计保证了网络能够有效地提取LDCT图像的边缘和细节。

整体过程个人猜想：主特征通道的前端输出与伪影通道的输出掩膜按照元素相乘得到伪影与噪声图像，经过中端和后端处理后，输出残差图，用LDCT与之相减得到生成的干净图像，最后于边缘特征通道的结果结合，形成最终输出的干净图像。

B. Discriminator Structure

通过在鉴别器的设计中引入Res2Net模块，我们设计了一个多尺度Res2Net鉴别器，它可以在给定的残差块中进行多尺度特征提取。 

表1. 鉴别器详细构造
图3. 鉴别器图示

如图3和表1所示，所提出的鉴别器包含3层。鉴别器的第一层采用卷积核大小为4 × 4、步长为2的卷积运算，以减少网络计算量，扩大感受野。第二层由Res2Net模块组成，用于提取图像同一尺度特征块中的多尺度特征。鉴别器的第三层采用卷积核大小为4×4、步长为1的卷积运算，并在卷积层后增加了一个sigmoid激活函数。具体流程如下：

  1. 用128个核，每个核大小为1 × 1，步长为1进行卷积运算，实现特征维数变换。

  2. 变换后的128个特征被平均分成四组，每组包括32个通道用于处理。第一组特征保持不变，并直接添加到第二组特征中。组合后的特征馈入卷积层，其核大小为3 × 3，步长为1，填充为1，用于处理。此外，前一通道的已处理特征和下一通道的未处理特征被加在一起，并被用作下一通道的输入。相应的缩放操作被连续执行，并且相同的操作被重复四次。

  3. 将所有中间特征级联，用1 × 1的卷积核大小实现降维。

  4. 利用跨层连接的思想实现深层特征和浅层特征的融合，可以在一定程度上缓解训练过程中产生的梯度消失或梯度爆炸的问题。

本文提出的多尺度Res2Net鉴别器通过增加网络在模块中的感受野来减少网络参数，提高鉴别器的特征提取能力，从而可以利用同一尺度中的特征。

C. Loss Function

本文使用不同的损失函数去训练不同的通道，这些函数分为三类：

表2. 损失函数
注：X、Y和Y分别表示给定的LDCT图像、相应的NDCT图像和LDCT去噪后的图像。α、δ、β、ζ和TV分别表示主信道残差去噪网络、理想伪影掩模生成操作、伪影和噪声注意通道、边缘特征注意信道和总变异操作。
  1.  为了提高伪影和噪声注意通道的能力，提出了一种伪影掩模损失函数。如表2中的第二个公式所示，其中伪影掩模损失的约束对象是理想伪影图像的二值掩模图像等于真实伪影图像的二值掩模图像。
  2. 边缘损失的设计是为了保证边缘特征注意通道提取的LDCT的边缘特征图接近NDCT的边缘特征图。
  3. 对于主特征通道，使用了三个损失函数：

    1. 伪影一致性损失：其约束对象是理想伪影图像和真实伪影图像。伪影一致性损失用于确保生成的理想伪影图像尽可能接近真实伪影图像。

    2. 逐像素L1损失：由数据保真度项和惩罚项组成，用于确保多通道生成器生成的最终图像的质量。

    3. 对抗性损失。

实验结果和分析

A. Experimental Settings

数据集：

  1. AAPM. (2017). Low Dose CT Grand Challenge.[Online].Available:http://www.aapm.org/GrandChallenge/LowDoseCT/
  2. C. McCollough, “TU-FG-207A-04: Overview of the low dose CT grand
    challenge,” Med. Phys., vol. 43, no. 6, pp. 3759–3760, 2016.
  3. Piglet Dataset. [Online]. Available: http://homepage.usask.ca/?xiy525/
    publication/sagan/

对比算法：

  1. BM3D
  2. REDCNN
  3. GAN-based pix2pix

  4. HFSGAN

  5. SiameseGAN

  6. w/o Att： 刨除伪像和噪声注意通道的ADAGAN

  7. w/o TV：刨除边缘特征注意通道的ADAGAN

  8. w/o MultiD：将多尺度Res2Net鉴别器子网替换为传统鉴别器的ADAGAN

三个指标，包括峰值信噪比(PSNR) [37]，结构相似性指数措施(SSIM)和视觉信息保真度(VIF) [38]被选为图像质量的定量评估。

B. Parameter Selection

使用Adam，设置如下：学习率\alpha =2*e^{-4}，两个指数衰减因子\beta _{1}=0.5和\beta _{2}=0.999。

图像的输入尺寸为512×512。训练和测试批量为1。

有四个超参数λ1、λ2、λ3和λ4：λ2控制基于总变异（TV）的正则化项和每像素L1损失保真度项之间的权衡，而λ1、λ3和λ4分别控制伪像掩模损失、边缘损失和每像素L1损失在总损失中的权重。经过实验，λ3和λ4取相同值，λ1、λ2对实验结果有显著影响，因此做了许多实验，分析训练过程中损失函数的变化曲线，以及不同参数设置下去噪结果的PSNR和SSIM值，如图4。

图4. (a)不同超参数设置下的网络收敛曲线。(b)降噪结果的平均SSIM-λ1、SSIM-λ2、PSNR-λ1和PSNR-λ2曲线:横坐标是λ1的值，纵坐标是PSNR(或SSIM)的值；随着λ1 ( o或λ2)的增加，SSIM值也发生变化，如不同形状的红色曲线所示；随着λ1 ( o或λ2)的增加，PSNR值表现为不同形状的蓝色曲线；(c)和(d)分别改变λ1和λ2时，所有去噪结果的平均PSNR和SSIM值

 考虑到两个损失函数在网络中的作用以及去噪图像的SSIM和PSNR值的性能，本文采用了以下设置:λ1 = 25，λ2 = 0.5，λ3 = 10，λ4 = 10。

图5. 不同学习率不同损失函数下的网络收敛曲线。(a)伪影一致性损失收敛曲线，(b)伪影掩模损失收敛曲线，(c)每像素L1损失收敛曲线，(d)对抗损失收敛曲线，以及(e)总损失收敛曲线。

 根据图5的观察选取0.0002为学习率。

 作者又针对伪影和噪声关注通道中LSTMs的数量和每个循环的ResBlock数量做了实验，最终取了4个LSTM和5个ResBlock，与上文同。

 而后作者又对比了鉴别器中最后一个卷积层的卷积核大小和步长大小对网络性能的影响，发现卷积核在4x4时达到最优，步长在1时达到最优，与上文呼应。

PS：作者大大太肝了！！！！！！

后续就是作者在三个数据集上去噪成果的展示（实验量真的很大）感兴趣的读者可以看看原著，在此就不多记录了。感谢各位的耐心阅读，下篇见！

wangtao990503
关注
  • 0
    点赞
  • 踩
  • 7
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
基于深度学习的低剂量CT图像去噪算法研究1
weixin_43946777的博客
12-02 7496
基于深度学习的低剂量CT图像去噪算法研究1 文章一： Low-Dose CT Image Denoising Using a Generative Adversarial Network With a Hybrid Loss Function for Noise Learning 主要内容： 第一部分。引言部分： 通常用来解决低剂量CT图像去噪的有三种不同的方法： sinogram filter 在CT图像重建之前，原始数据或者它的对数形式可以被滤波处理，正弦域的噪声特性是容易被知道的，一些经典的方法包括
Low-Dose-CT-denoising:低剂量CT去噪的代码和文件
05-07
低剂量CT去噪 低剂量CT去噪的代码和文件 基于模型的方法 通过局部一致的非局部方式有效地进行低剂量CT降噪（LC-NLM）（MICCAI 2016） 高斯混合MRF用于基于模型的迭代重建及其在低剂量X射线CT中的应用 区分学习的方法 卷积神经网络的低剂量CT去噪（ISBI 2016） （SAGAN）使用条件生成对抗网络的敏锐度低剂量CT去噪 神经网络卷积（NNC）用于将超低剂量图像转换为“虚拟”高剂量CT图像（MLMI 2017） （KAIST-Net）使用方向小波进行低剂量X射线CT重建的深层卷积神经网络 （RED-CNN）小剂量CT，带残差编码器-解码器卷积神经网络（TMI 2017） （KSAERecon）通过神经网络训练的先验者进行的低剂量迭代CT重建（TMI 2017） PWLS-ULTRA：一种有效的基于聚类和学习的低剂量3D CT图像重建方法（TMI
注意细节Attention To Detail之一：CSDN.NET网页的版权申明
孙展波：现在流行什么
07-28 312
CSDN.NET网站每一页面的模板的footer（页脚）都包含有这样的版权声明: Copyright © 1999-2014, CSDN.NET, All Rights Reserved 看起来还是很正式很大气的。只是今天已经是2015年七月底了。
SDGAN：一种用于低剂量CT图像重建的新型空间可变形生成对抗性网络
weixin_42489272的博客
12-02 1129
受[19]中构象器的巨大成功的启发，我们还为生成器配备了几个构象器，它探索了每个切片的所有像素之间的局部和全局关系，从而产生了与注意力相关的潜在代码，并生成了具有不同细节的图像。生成器是CNN+Transformer，从消融实验看，加入参考文献19提供的Conformer Block有很大提升，双判别器从不同视图提供结构特征，可变形卷积利用切片间和切片内特征（2.5D思想），中间还加入了VGG16、19编码器提取特征进行判别。通过比较方法和我们的建议对真实和生成的F-PET图像之间的伪色差图进行比较。
CT-Denoising-Review:CT去噪纸综述
05-06
深度学习的CT图像降噪 01.使用方向小波进行低剂量X射线CT重建的深层卷积神经网络（KAIST-net） 数据集 AAPM-Mayo诊所低剂量CT大型挑战赛（仅腹部CT图像） 512x512，10位患者，5743个切片 使用55x55补丁 模型 该方法适用于低剂量CT图像的小波系数 网络包含24个卷积层 02.通过卷积神经网络进行小剂量CT 数据集 TCIA（癌症影像档案馆）常规剂量的CT图像。 256x256、165位患者，7015个切片。 将泊松噪声加到正常剂量的正弦图中。 使用33x33的补丁。 模型 网络仅使用3个层（Conv-ReLU-Conv-ReLU-Conv）。 03.使用残差卷积网络改善低剂量CT图像 数据集 AAPM-梅奥诊所低剂量CT挑战赛 512x512，10位患者，5080个切片 使用44x44补丁（2D），44x44x24补丁（3D） 模型 二
maven-artifact-transfer-0.10.0.jar
01-15
maven-artifact-transfer-0.10.0.jar
Python库 | polyswarm_artifact-1.2.1-py3-none-any.whl
02-18
《Python库 polyswarm_artifact-1.2.1-py3-none-any.whl：深入了解与应用》 在Python的世界里，库是开发者的重要工具，它们提供了丰富的功能，使得编程变得更加高效和便捷。本文将深入探讨名为`polyswarm_artifact-...
maven-artifact-3.3.9.jar
12-21
maven-artifact-3.3.9.jar包，项目编译缺少这个包，一直拉不下来，好不容易搞到它，留作备用
azure-artifact-manager-plugin:Jenkins Azure工件管理器插件
03-22
Azure Artifact Manager插件重要说明：该插件由Jenkins社区维护，并且自2024年2月29日起不受Microsoft支持。使用凭证绑定和Az CLI 建议使用和Az CLI与Azure服务集成。 确保已2.0.67或更高版本的 。 使用Az CLI创建...
2016年Mayo诊所低剂量CT挑战赛 数据集下载
qq_40268625的博客
03-06 3518
Mayo 低剂量CT数据集
【半监督医学图像分割 2021 IEEE】DU-GAN
最新发布
wujing1_1的博客
02-27 1252
低剂量计算机断层扫描(LDCT)由于其相关的x射线辐射对患者的潜在健康风险而引起了医学成像领域的广泛关注。然而，降低辐射剂量会降低重建图像的质量，从而影响诊断性能。在过去的几年里，各种深度学习技术，特别是生成对抗网络(gan)，已经被引入到通过去噪来提高LDCT图像的图像质量，比传统方法取得了令人印象深刻的结果。基于高斯的去噪方法通常利用一个额外的分类网络，即鉴别器，来学习去噪图像与正常剂量图像之间最大的区别，从而相应地正则化去噪模型;它通常关注全局结构或局部细节。
MATLAB中深度学习的数据集合
TSINGHUAJOKING
12-22 3342
简 介： 本文总结了部分MATLAB中用于深度学习的数据集合。 关键词： MATLAB，DEEPLENARING #mermaid-svg-zx9GNwRiwmxoo4dn .label{font-family:'trebuchet ms', verdana, arial;font-family:var(--mermaid-font-family);fill:#333;color:#333}#mermaid-svg-zx9GNwRiwmxoo4dn .label text{fill:#333}#merm.
论文笔记 | SSA-CNN: Semantic Self-Attention CNN for Pedestrian Detection
你的益达
08-30 2971
出处：CVPR 2019 论文：https://arxiv.org/abs/1902.09080v1 摘要： 行人检测在诸如自动驾驶的许多应用中起着重要作用。我们提出了一种方法，将语义分割结果作为自我关注线索进行探索，以显着提高行人检测性能。具体而言，多任务网络被设计为从具有弱框注释的图像数据集联合学习语义分割和行人检测。语义分割特征图与相应的卷积特征图连接，为行人检测和行人分类提供更多的辨别特征...
【时空序列预测第十三篇】Self-Attention ConvLSTM for Spatiotemporal Prediction
AI蜗牛车
10-29 8336
作者|Subranium学校 | 东北大学研究| 城市计算出品 | AI蜗牛车一、 Address来自于清华大学的一篇文章，收录于AAAI 2020的论文：Self-Attenti...
注意力机制在CNN中使用总结
热门推荐
AI浩
03-06 5万+
注意力机制大概分为以下，Spatial domain，Channel domain，Mixed domain以及Self-attention。接下来简单介绍这部分方法。 1、通道注意力机制和空间注意力机制 Convolutional Block Attention Module (CBAM) 表示卷积模块的注意力机制模块。是一种结合了空间（spatial）和通道（channel）的注意力机制模块。相比于senet只关注通道（channel）的注意力机制可以取得更好的效果。 通道注意力：将输入的fe
TF之GNMT：Neural Machine Translation 基于神经网络机器翻译(seq2seq，RNN→attention注意力) 的简介、安装、使用方法之详细攻略
近期请国内外头部出版社可尽快私信博主！——心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，谦虚，自律，反思，成长，还算是比较正能量的博主，公益免费传播……内心特别想在AI界做出一些可以推进历史进程影响力的东西(兴趣使然，有点小情怀，也有点使命感呀)…
02-29 6729
​ TF之GNMT：Neural Machine Translation 基于神经网络机器翻译(seq2seq，RNN→attention注意力) 的简介、安装、使用方法之详细攻略 目录 Neural Machine Translation (seq2seq) 的简介 Neural Machine Translation (seq2seq) 的安装 Neural Machine Translation (s
个人阅读的Deep Learning方向的paper整理
chivalry
03-10 2万+
http://hi.baidu.com/chb_seaok/item/6307c0d0363170e73cc2cb65 个人阅读的Deep Learning方向的paper整理，分了几部分吧，但有些部分是有交叉或者内容重叠，也不必纠结于这属于DNN还是CNN之类，个人只是大致分了个类。目前只整理了部分，剩余部分还会持续更新。 一 RNN 1 Recurrent n
ABC-CNN: An Attention Based Convolutional Neural Network for Visual Question Answering
lsh894609937的专栏
04-06 1873
VQA的相关应用及其挑战：   VQA is of great importance to many applications, including image retrieval, early education, and navigation for blind people as it provides user-specific information through the unders
《Low-Dose CT》去噪论文
69小石头的博客
11-17 4555
文章目录前言一、《Low-Dose CT with a Residual Encoder-Decoder Convolutional Neural Network (RED-CNN)》1. 摘要2.网络模型二、Wavelet Domain Residual Network (WavResNet) for Low-Dose X-ray CT Reconstruction1.摘要2. 网络模型三、Structure-sensitive Multi-scale Deep Neural Network for Lo
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值