【论文泛读】2020-2-Deep Multi-Instance Learning Using Multi-Modal Data for Diagnosis of Lymphocytosis

1.题目

使用多模态数据诊断淋巴细胞增多症的深度多实例学习(Deep Multi-Instance Learning Using Multi-Modal
Data for Diagnosis of Lymphocytosis)

2.摘要

我们研究了深度学习最新进展的用途，并在专家混合公式(mixture-of-experts formulation)中提出了一个端到端可训练的多实例卷积神经网络，该公式结合了来自两种类型数据（图像和临床属性）的信息，用于诊断淋巴细胞增多症。卷积网络学习使用嵌入级别方法从血细胞图像中提取有意义的特征并将它们聚合。此外，专家混合模型将来自这些图像的信息以及临床属性结合起来，形成用于诊断淋巴细胞增多症的端到端可训练管道。
我们的结果表明，即使是卷积网络本身也能够发现图像与诊断之间的有意义的关联，表明图像中存在重要的未利用信息。通过可重复性研究评估数据采集中的可变性对预测的影响，专家混合公式显示更稳健，同时保持性能。将所提出的方法与基于传统手工特征和机器学习的文献的不同方法以及基于注意机制的最近深度学习模型进行比较。我们的方法报告了 85.41% 的平衡准确率，并且优于手工制作的基于特征和基于注意力的方法以及生物学家分别得分 79.44%、82.89% 和 77.07% 的方法。这些结果对所提出的方法在临床实践中的适用性潜力提供了见解。

3.Bib

@article{Sahasrabudhe:2020:21252136,
  author	=	{Mihir Sahasrabudhe and Pierre Sujobert and Evangelia I Zacharaki and Eug{\'e}nie Maurin and B{\'e}atrice Grange and Laurent Jallades and Nikos Paragios and Maria Vakalopoulou},
  title		=	{Deep multi-instance learning using multi-modal data for diagnosis of lymphocytosis},
  journal	=	{{IEEE} Journal of Biomedical and Health Informatics},
  volume	=	{25},
  number	=	{6},
  year		=	{2020},
  pages		=	{2125--2136}
}

4.方法概述

背景：自动和准确流程的开发可能会导致更好的方法来确定应将哪些患者转诊进行流式细胞术分析（非常昂贵），从而增强和协助临床医生的评估。
算法：文中提出了一种用于诊断淋巴细胞增多症的具有挑战性任务的新方法。该方法能够从一组获得的淋巴细胞图像中预测症状（反应性/肿瘤）的性质，并与临床属性进行最佳组合。基于嵌入级 MIL，在这种方法中，不是在实例级别聚合预测，而是学习实例的低维嵌入，并在包中所有实例的嵌入聚合之上训练包级分类器。
（1）提出了一个多实例深度卷积神经网络，用于从多个显微镜图像中提取视觉表征，并将它们直接与患者的诊断相关联。
（2）研究了与直接训练的注意力机制相比，多实例分数的不同聚合方法如何影响模型的预测。
所提出的深度学习架构由一个卷积神经网络作为特征提取器组成。 CNN 处理整个（未屏蔽的）淋巴细胞图像。
（3）引入了一个混合专家模型，以便从图像和患者的临床属性中学习分类器，以提供可靠的诊断。

5.待解决的问题

为了广泛验证该方法的准确性，必须进行进一步的测试，特别是使用来自不同医院的数据集。

6.实验

数据集：从里昂南大学医院常规血液学实验室的 204 名患者身上收集了血涂片和患者属性，针对这个问题建立一个数据集。