Cell | 多模态技术革新医学人工智能研究，这个新思路绝对还能发更多高分论文！-CSDN博客

本文链接：https://blog.csdn.net/m0_56255097/article/details/143577306

在开始之前有两个问题需要大家思考下：其一，人在学习工作中获取新知识的过程是怎么样的？其二，目前基于人工智能在医学领域开展的研究符合人类获取新知识的过程么？近期发表在**《cell reports medicine》**的研究通过多模态技术，模仿人类在获取新知识时的做法，提出了一种区分结直肠腺癌与神经内分泌肿瘤的深度学习方法。该研究相关论文和代码的获取方式请看文末。

一、引言

神经内分泌肿瘤是一种来源于全身神经内分泌细胞的罕见肿瘤，主要特征在于产生肽类激素和生物胺，胃肠道是神经内分泌肿瘤最常见的发生部位。与结直肠腺癌相比，结直肠神经内分泌肿瘤在分子亚型、治疗策略和预后结果方面存在显著差异，因此准确区分这两种肿瘤对个体化治疗至关重要。

在临床环境中，结直肠腺癌与神经内分泌肿瘤的鉴别往往通过苏木精-伊红（H&E）染色切片的组织病理学检查进行。此类工作对于医务人员无疑是需要大量重复劳动的。因此，利用人工智能技术研究自动化工具以辅助神经内分泌肿瘤鉴别极具临床价值。

目前针对病理切片的研究通常是直接利用病理切片来学习和识别肿瘤特征，这种技术路线一是由于病理切片有可能生成数万个patch，计算复杂性日渐复杂；二是所有patch混合在一起，识别效果容易受到无关区域的妨碍。有鉴于此，Cell子刊近期的这项研究通过多模态技术，模仿人在学习识别肿瘤类型时的做法，提出了一种区分结直肠腺癌与神经内分泌肿瘤的深度学习方法。

二、数据

该研究使用的数据来自于3个不同的医疗机构，共包含1799名患者的病理切片数据。其中内部数据集包含550名患者、外部数据集1包含837名患者、外部数据集2包含412名患者。
在这里插入图片描述

该研究参照CLAM的数据处理方法进行了颜色空间转换、组织区域分割，并将肿瘤和正常组织区域划分为224×224像素大小的patch。

三、方法

该研究提出的深度学习识别算法主要包含多模态模块、Patch选择模块、基于注意力机制的聚合模块以及文本引导的切片级特征生成模块4个部分。

多模态模块使用OpenAI提出CLIP模型进行训练，旨在学习文本和图像对之间的匹配关系。多模态模块包含图像编码器和文本编码器两个部分，其中图像编码器用于提出病理切片patch的特征，文本编码器用于提取癌症相关描述的特征。

多模态模块值得给大家展开解释下：假设有一块病理切片patch中包含了神经内分泌肿瘤，同时也已经有人以文本的形式对这个patch进行描述，那么利用图像编码器从这个patch中提取的特征和利用文本编码器从对应文本中提出的特征应该是一致的。更进一步的，这就意味着你可以通过文本描述告诉模型神经内分泌肿瘤所在的病理切片区域具备什么特征，模型就可以识别出神经内分泌肿瘤区域。而不像以往的技术路线一样，需要人工在图片上一点点勾画然后训练。

Patch选择模块旨在从整个切片中去除了与诊断无关的区域。 具体而言，首先收集医生结合相关文献和临床经验对结直肠腺癌、神经内分泌肿瘤的描述，重点是对关键形态特征的概述；其次使用多模态模块的文本编码器将这些描述映射到特征空间；然后用图像编码器将病理图片patch也映射到特征空间；最后通过计算文本特征与图像特征之间相似度，即可通过选择相似度较高的patch来达到去除诊断无关区域的目的。

基于注意力机制的聚合模块旨在使用注意力分数聚合patch特征，并计算出切片级特征。 由于每种癌症类型的关注区域不同，因此该研究定义了两个并行注意力分支，并分别计算得到两组注意力分数。

文本引导的切片级特征生成模块旨在使模型聚焦形态特征，从而生成更稳健的切片级特征。 由于不同机构病理切片数据表现出来的染色差异，使得仅基于内部中心数据训练的模型在应用于外部数据时可能表现不佳。该研究通过将文本特征融入特征生成模块，期望能够让模型忽略颜色变异性，更关注于共性的特征。

四、总结

该研究通过多模态技术使得模型具备同时处理文本和图像的能力，革新了以往医学人工智能研究的技术路线。医学影像的识别不再只是依靠繁琐的人工勾画，而是开始模仿临床诊断的过程，直接从文本描述中学习相关文献以及临床经验。该研究的这种思路也是大模型的一种应用实践，代表了语言大模型之外一种新的应用趋势。这种思路绝对不单单是一篇Cell子刊的意义，也不会止步于医学这一个领域。这种思路给人工智能应用带来了全新的广阔的想象力，必定会产出更多颠覆性成果。