目录
作者提供TensorFlow复数模型源码https://github.com/MRSRL/complex-networks-release
1 简介和创新点
MRI (Magnetic resonance imaging)核磁共振图像
利用复数神经网络代替实数神经网络实现核磁共振图像重建,以加快扫描时间,并确定各种有前途的复值激活函数的性能。
以往的处理复数是把实数和复数分为两条通道,但是这样做会丢弃数据的某些复数代数结构,并且在数据在整个网络中移动时并不一定要保持数据的相位信息。
当前解决图像重建的的神经网络有GAN、ADMM-Net、MoDL、U-Nets、AutoMap
复数的优越性
• 《Deep complex networks》通过使用复值卷积,减少了每个模型中的参数数量。这减少了网络占用的内存,可学习的参数数量和训练时间。
• 《Associative Long Short-Term Memory》中,提出了复数权重根在内存访问体系结构中更稳定且在数值上更有效。使网络具有更丰富的表示能力。
评价标准
2 模型
2.1 复数激活函数
2.2 系统模型
作者提出了两个模型作为对比实验,第一个是基于展开式优化的,该优化基于迭代软收缩算法。包括两个模块,一个是数据一致性模块和去噪模块。
- 数据一致性模块:使用MRI模型强制与物理测量的k空间样本保持数据一致性
- 去噪模块:使用残差结构块进行去噪输入图像以产生输出图像.除最后一个卷积层外,每个卷积层后都有一个ReLU和一个复数值激活函数
第二个是U-Net。该网络使用卷积和反卷积来捕获信息。每个橙色框都表示了一个多通道特征图。
- 红色箭头是复数卷积,每个卷积后跟一个ReLU激活函数
- 蓝色箭头2x2最大池化,步长为2
- 最后一层绿色箭头的是一维卷积,作者的画图有误
- 黑色箭头是copy
- 经过本人的不确定分析,网络的输入是复数值,输出是二维图片的值
3 模型参数
L1 损失函数
Adam优化器
学习率0.001
U-Net的Batch-size =3
Unrolled Network的Batch-size = 2
50000epoch
实现框架:Tensorflow
评估标准:NRMSE归一化均方根误差、峰值信噪比PSNR、结构相似性指数SSIM
NRMSE和PSNR是在复数值图像上评估的; 但是,仅在幅度图像上评估SSIM
4 实验分析
TensorFlow实现的复数工具包
https://github.com/MRSRL/complex-networks-release
4.1 激活函数分析
实验过程:
在展开网络中,实数网络的激活函数Relu,复数网络,对比了modRelU,CReLU,zReLu和cardioid,最佳激活函数CReLU
对于该实验,迭代次数和特征图的数量分别固定为4和256。 实值和复数网络被设计为具有几乎相同数量的参数。
实验结果:复数网络相对于实数网络能更好的保留相位信息,最佳激活函数时CReLu
4.2 网络宽度分析
实验过程:
在展开网络中,通过将迭代次数固定为4,同时改变每一层中的特征图的数量,来评估展开网络宽度对实数网络模型与复数网络模型的性能的影响
实验结果:同时保持每个模型的参数总数大致相同。 当使用复值卷积时,重构性能得到了显着提高。
- NRMSE:归一化均方根误差
- PSNR:峰值信噪比
- SSIM在: 结构相似性指数
4.3 网络深度分析
实验过程:
在展开网络中,通过训练实数网络和复数网络在每一层中进行2、4、8和12次迭代来改变网络的深度,分析两种网络的性能差异
实验结果:随着迭代次数的变化,特征图的数量是固定的,同时每个模型的参数总数保持大致相同。和实验类似的结果
4.4 网络结构分析
实验过程:
在U-Net网络上,使用复数搭建和实数搭建神经网络,分析在不同的结构上,复数神经网络是否有优势。
实验结果:通过分析图像,实值模型在相位图像的背景中引入了相位包裹错误,而复数网络模型和CS则没有。且复数网络的性能更佳。
4.5 实验结论
复值模型能够更准确地表示数据的复值性质。经过实验分析,复数框架能够轻松的适应其他网络架构,可以广泛应用到超声波,光学成像,雷达,语音和音乐领域
原因分析
- 通过在具有复值卷积层的模型中使用复值权重,可以使用更多特征图,以使参数数量与具有实值卷积层的模型中的参数数量相同。 这样可以提高重建精度
- 因为复值网络强制执行保留输入数据相位的结构,所以与实值网络的重构相位相比,复值网络的重构相位通常在视觉上更接近于地面实相(the phase of the ground truth)的相位。
5 疑问和思考
(1)网络模型的具体的输入输出,本人没有阅读明白,经过我的不确定分析,对于两个模型的理解如下
- 在展开模型中,数据一致性模块处理的复数信号到raw image生成的过程,然后再把带有噪声的图片放入ResNet 中去噪。神经网络实现的图片的去噪
- 在U-Net中,输入是复数值,输出是二维图片的数值
(2)提供的源码只是《DeepComplexNetwork》文献提供的源码的TensorFlow复现。对于基于ISTA算法的展开网络和U-Net还需要通过看其他文献了解这两个模型细节,U-Net模型来自《U-net: Convolutional networks for biomedical image segmentation》