【论文阅读】医疗影像图像增强

学习他人的技术，更好的应用在自己的项目上。创新总是从模仿开始的。

前言

​ 针对医疗影像的图像增强，这方面的研究根据目前的调研，相关的技术设计到两个公司或者机构，深透医疗的数据增强技术，根据创始人宫恩浩查到了他们所发布的相关的专利和论文，是值得学习的部分；联影的沈定刚的学生，四川大学的王艳课题组也对此有很多的研究，也是我们学习的目标。

​ 首先是学习的宫恩浩的相关的论文，目前收集到的论文相关的信息如表1所示，论文中的具体细节下面也会一一叙述。

论文	时间	发表	数据格式
200x Low-dose PET Reconstruction using Deep Learning	2017	arXiv	PET
Deep Learning Enables Reduced Gadolinium Dose for Contrast-Enhanced Brain MRI	2018	Journal of Magnetic Resonance Imaging	MRI
Ultra–Low-Dose 18 F-Florbetaben Amyloid PET Imaging Using Deep Learning with Multi-Contrast MRI Inputs	2019	Radiology	PET,MRI

相关技术挖掘

论文中描述的技术细节可能并不详细，这就要凭借着我们的项目经验进行挖掘。如果对于处理细节有疑问，那么就对其展开想象，如果是我在做这个项目，我会怎么处理呢？

论文中关注的点可能有很多：数据的类型，数量，数据的预处理阶段（例如，如何归一化？）；网络如何搭建，如果使用keras，网络的输入如何设置，loss如何选择，验证集如何分配？相关的评价指标怎么选择，loss 和metric如何添加到网络当中，是否有现成的代码可以用到呢？或者是否有相似的技术。

一、200x Low-dose PET Reconstruction using Deep Learning

​ 针对的是PET数据增强。拍PET时，会用到追踪剂tracer，而这种tracer是有放射线的，可能会对人体造成一些不好的影响。能否避免这个东西呢？或者使用的tracer的剂量大大减小，但是仍然能够获得标准剂量的显示效果？这简直一举两得啊。想象一下，对于病人而言，使用的剂量小，有好处；对于医生或者医院而言，使用的剂量小，减小成本，拍摄时间减小，总的排片量增加！还有这种美事！这才是AI赋予现代医学的好处啊。不感慨了，切入正题！

​ 减小tracer的剂量，势必会造成图像质量的下降，如下图1所示：

​ 这个脑部的PET数据为什么这么不清晰，我也不知道啊，真实的图像有可能是这样的吧。

​ 论文中目前提到了一些目前提升图像质量的方法，有时间也可以尝试一下。

iterative reconstruction algorithm	凸优化问题
image filtering and post-processing	NLM,BM3D
machine learning	WaveNet

数据和实验准备

​ 9例胶质母细胞瘤(GBM)患者的数据。注意⚠️只有9例数据哦，而且是患特种病症的样例，这样的话，扩展性可能会又一些问题。

​ 首先重建DRF=1和DRF=200的PET图像，使用的是OSEM图像重建方法。

​ 每个重建的3D PET图像大小 $256\ast 256\ast 89$ 。

​ 去除掉顶层和底层的没有任何目标的slice.

​ 为了避免过拟合，提升模型的鲁棒性，使用数据增强，在输入网络之前，图像沿x轴和y轴随机翻转并换位。

​ 图像采集时间约为40分钟，注射后45分钟开始。在list-mode数据上，选择DRF=200的数据，如何确定DRF=200呢？选择0.5%时间节点的数据就可以了。

使用深度学习对低剂量的PET图像重建

1. 模型结构

   说白了就是U-NET，红色箭头处的实现方式还有待研究。。相加？哪两个图相加呢？输入是Mutil-slice，中间的那张吗？

   

2. 残差连接

3. Mutil-slice输入

   不同slice的重建效果图，着重看的是箭头处的重建细节。

   

4. Loss function

   关键环节。

   L1 loss：

   $$L^{l_1}=\frac{1}{NM}\sum _{i=1}^N\sum _{j=1}^M|x_{i,j}$$