深度多任务学习及其在医学影像分析中的应用

最近发现了很多之前阅读文献做的一点小记录或者组会汇报做的概要记录等一些杂七杂八的文献阅读笔记，想了想可以整理一下发出来，和更多的人有一个更好的交流。

1.引言

本文主要介绍了三篇基于医学影像的深度多任务学习论文，分别是中南大学赵荣昌等人在2020年发表在期刊 Medical image analysis 上的《Multi-indices quantification of optic nerve head in fundus image via multitask collaborative learning》，佛罗里达国际大学 Solale Tabarestani 等人在2020年发表在期刊 NeuroImage 的《A distributed multitask multimodal approach for the prediction of Alzheimer’s disease in a longitudinal study》和辛辛那提大学 Lili He 等人在2020年发表在期刊 Scientific reports 的《A multi-task, multi-stage deep transfer learning model for early prediction of neurodevelopment in very preterm infants》。

2. 深度多任务学习

人们相信多个任务的学习比单一任务的学习更准确地反映了人类的学习过程，因为跨领域的知识整合是人类智慧的核心。当一个新生儿学习走路时，他积累了一般的运动技能（如平衡）和一些关于运动的抽象概念。一旦学会了这些运动技能和抽象概念，它们就可以被重复使用，并在以后的生活中用于更复杂的任务，比如骑自行车。每当人类尝试学习新东西时，我们都会带来大量的先验知识。基于这样的灵感，研究者们提出了多任务学习的概念。

多任务学习(Multi-task learning, MTL)是机器学习的一种范式，通俗讲，通过一个共享的模型同时学习多个任务就是多任务学习。多任务学习本质上是一种归纳迁移的方法，它利用相关任务训练信号中包含的信息作为归纳偏差来改善模型泛化能力。多任务学习中的共享表示提高了数据效率，并可能为相关或下游任务提供更快的学习速度，由此研究者们将多任务学习和深度学习相结合，利用多任务学习的优点缓解深度学习众所周知的弱点：大规模数据需求和计算需求，从而提出了深度多任务学习(Deep multi-task learning)。

3. 应用

近几年，深度多任务学习在医学影像分析中应用广泛，接下来我们将介绍几项最近的研究工作。

3.1 视神经头外观指标量化

由于患者眼底外观的巨大变化、视神经头部区域的重叠和图像极弱的对比度等困难，基于眼底图像同时量化视神经头外观的多种指标成为一种极大的挑战，目前只有少量的工作被报道。Zhao等人[3]提出了一个多任务协作学习框架(MCL-Net)用于视神经头的多指标量化。如图1，所提出的MCL-Net首先通过骨干网及两个分支获得任务共享和特异性表示，再通过一个功能交互模块(FIM)对两个分支的表示进行交换和聚合，以实现相互协作。然后，在能够自动学习多个输出聚合的多任务集成模块(MEM)下，估计视神经头的多种指标。所提出的MCL-Net由特征表示、任务间特征交互、双分支任务预测和多任务量化集成组成，充分利用了分割和估计任务进行多指标量化，建立了一个有效的框架。

图1 MCL-Net

3.2 阿尔兹海默症患病临床评分预测

对未来临床评分的跟踪揭示了在阿尔兹海默症的不同阶段个体认知水平微妙但渐进的下降，并揭示了疾病过渡阶段的性质。Tabarestani等人[3]利用多模态多任务学习方法来预测临床评分以跟踪阿尔兹海默症的进展。如图2，该方法首先对每个模态建立一个回归任务，预测单个时间点的认知得分。由于多个时间点的预测任务是按照时间顺序相互关联的，多任务回归模型也被用来跟踪后续任务之间的关系。通过对每个模态应用多个独立的多任务回归模型获取模态特异性，并将其整合，称为风险因子（Risk factor）。为了充分利用各模态来源提供的信息，将多任务模型的结果与风险因子组合在一起，形成Gradient Boosting的输入。最后训练Gradient Boosting时利用不同模态的多种组合来避免模态缺失问题。

图2 多模态多任务学习方法训练阶段流程图

3.3 婴儿神经发育预测

非常早产（即≤32周胎龄）的幸存者仍有较高的神经发育障碍风险。近年来，深度学习技术的发展使得帮助早期诊断神经发育缺陷成为可能。He等人[5]开发了一个多任务深度迁移学习框架，用于早期预测非常早产婴儿的神经发育。该模型包括四个模块：（1）首先在源域中使用带标注标签的受试者预训练一个深度神经网络（DNN）原型（图3 A），以学习受试者的大脑网络表示。（2）通过重用神经网络的权值来适应模块1中预先学习的脑连接。为了更好地代表新生儿的大脑连接体，使用未标注标签的新生儿受试者进行中间域的无监督预训练预先加权的DNN原型（图3 B）。（3）使用带注释标签的非常早产婴儿在目标域进行模型微调。在完成前两个模块后，关于新生儿脑连接的先验知识已经编码在DNN中，经过微调后，得到一个用于（4）联合神经发育结果预测的优化模型（图3 C）。

图3 源域(A)、中间域(B)和目标域©中的模型体系结构

4. 总结

本文重点介绍了三篇基于医学影像的深度多任务学习方法，实验表明这些方法在各自对应的疾病领域内都达到了不错的性能。近些年来深度多任务学习在诸如计算机视觉、生物信息学和自然语言处理等领域都取得了优异的表现，然而这些进展大多集中在模型开发。希望未来在优化策略、理论基础等方向的研究能有更多工作，促进该领域进入更深一层的理解。

参考文献

[1] Zhang, Y., & Yang, Q. (2018). An overview of multi-task learning. National Science Review, 5(1), 30-43.
[2] Crawshaw, M. (2020). Multi-Task Learning with Deep Neural Networks: A Survey. arXiv preprint arXiv:2009.09796.
[3] Zhao, R., & Li, S. (2020). Multi-indices quantification of optic nerve head in fundus image via multitask collaborative learning. Medical image analysis, 60, 101593.
[4] Tabarestani, S., Aghili, M., Eslami, M., Cabrerizo, M., Barreto, A., Rishe, N., … & Adjouadi, M. (2020). A distributed multitask multimodal approach for the prediction of Alzheimer’s disease in a longitudinal study. NeuroImage, 206, 116317.
[5] He, L., Li, H., Wang, J., Chen, M., Gozdas, E., Dillman, J. R., & Parikh, N. A. (2020). A multi-task, multi-stage deep transfer learning model for early prediction of neurodevelopment in very preterm infants. Scientific reports, 10(1), 1-13.