3D CNN for AD论文阅读（一）--Attention-based 3D Convolutional Network for Alzheimer's Disease Diagnosis

论文：《Attention-based 3D Convolutional Network for Alzheimer’s Disease Diagnosis and Biomarkers Exploraion》

摘要

虽然深度学习在医学影像数据的疾病分类上已经有了很大的发展，但人们还是不知道该如何解释卷积神经网络是如何做出分类的。作者认为应重视神经网络在训练过程中的注意力并提供与疾病相关联的那些脑区能够很好地帮助提高分类效果。于是该文就提出了一个attention-based 3D ResNet模型来诊断AD并且探索潜在的生物标志物。

背景

• 过去的数十年里，有很多研究人员使用传统的机器学习方法来对医学图像进行分类研究，但这些方法需要前期复杂的数据处理工作，如手动提取特征，降维等处理。
• 深度学习方法的使用帮助解决了以上问题，由于深度学习方法的黑盒特性，使得人们无法解释为什么该方法可以让AD分类能有很好的精度，也不知道到底是哪些脑区与疾病的诊断有重要的联系。

贡献

• 提出了基于注意力机制的3D网络且达到了很好的分类效果，免除了手动提取特征复杂步骤。
• 通过引入注意力机制来找到那些与疾病诊断有重要联系的脑区并探索潜在的生物标志物。
• 提出的网络通过结合注意力机制达到了较好的分类效果的同时并没有增加计算量。提出的这个注意力模块也可灵活地嵌入到其他地网络中使用。

实验

模型搭建

• 网络基于ResNet-18的架构搭建，作者认为全局平均池化比最大池化更适合疾病的分类，因为全局平均池化能更好的反映脑区灰质的体积信息。最后的输出层使用的是softmax+cross entropy loss。
  
• 注意力模块主要是由一个卷积核是3x3x3的卷积层后接一个ReLu构成。
  

数据和预处理

数据是ADNI上的数据，为了防止那些可能有用的信息丢失，作者只选用做了MMSE的MRI图像。数据集中包含532名被试：227名AD患者（105 females，age：74.77 $\pm$ 7.60，MMSE：22.48 $\pm$ 3.12）305名健康被试（149 females，age：74.58 $\pm$ 5.65，MMSE：28.93 $\pm$ 1.38）
使用CAT12做了头动校正，分割为白质，灰质和脑脊液，用affine+non-linear配准到MNI空间。最后把得到的灰质图resliced到91x109x91的尺寸。

训练参数

使用的10折交叉验证，使用了《Delving deep into rectifiers: Surpassing human-level performance on imagenet classification》文章中的参数作为初始化参数
优化器：Adam，初始学习率：$10^{-5}$
batch size：8

结果

• 实验中使用了maxpooling和average pooling的网络的对比。灰质的体积于前人在AD研究中已经证明了是重要的信息，而maxpooling丢失了灰质体积的信息。
  
• 3D ResNet和文中提出的网络比较
  
• 文中提出的网络和前人的研究比较
  

文中还有关于生物标志物的探索的相关章节不细写了