“AI+病理学”会是未来医学的智慧引擎吗？|干货

点击蓝字

关注我们

AI TIME欢迎每一位AI爱好者的加入！

病理学是医学领域中至关重要的一门学科，通过研究组织、细胞和病变的微观结构，病理医生能够为临床医生提供关键的诊断信息。随着临床数据的不断增加和医学知识的不断扩展，传统的病理学方法面临着诸多挑战。而人工智能与病理学、临床实践的融合，为病理学带来了全新的机遇，正开辟出全新的可能性。2023年8月24日，AI TIME第十八期PhD Debate活动“AI+计算病理学：从前沿技术到临床应用”，特别邀请了复旦大学基础医学院数字医学研究中心博士生曲麟昊，厦门大学信息学院、健康医疗大数据国家研究院博士生侯文太，上海交通大学图像通信研究所博士生林天成，南京信息工程大学自动化学院、智慧医疗研究院博士生蔡程飞。本期活动由来自北京大学的李嘉涵主持。活动中，五位嘉宾讨论了AI在癌症筛查、药物研发、临床治疗、病理图像分析等方面的应用。

曲 麟 昊：基于双向弱监督知识蒸馏的全切片病理图像分类方法

基于全切片病理图像（WSI）分类的计算机辅助病理诊断在临床实践中发挥着重要作用，通常被表述为弱监督多实例学习（MIL）问题。曲麟昊在报告中介绍了一种用于WSI分类的端到端弱监督知识蒸馏框架（WENO），该框架在知识蒸馏框架中集成了一个包分类器和一个实例分类器，以相互提高两个分类器的性能。具体来说，使用基于注意力的包分类器作为教师网络，使用弱包标签进行训练，使用实例分类器作为学生网络，使用从教师网络获得的归一化注意力分数作为伪标签进行训练实例的标签。教师和学生共享一个实例特征提取器，以进一步加强他们之间的知识交流。

林 天 成：基于因果干预的全景病理图多实例学习方法

多实例学习(MIL)是全幻灯片病理图像(WSI)分类的有效范例，可处理十亿像素分辨率和幻灯片级标签。流行的MIL方法主要侧重于改进特征提取器和聚合器。然而，这些方法的一个缺陷是bag上下文先验可能会欺骗模型捕获bag和标签之间的虚假相关性，这一缺陷是限制现有MIL方法性能的混杂因素。在报告中，林天成介绍了一种新方案，即Interventional Bag Multi-Instance Learning（IBMIL）。与传统的基于似然的策略不同，该方案基于后门调整来实现干预训练，因此能够抑制由bag上下文先验引起的偏差。IBMIL的原理与现有的bag MIL方法是正交的。因此，IBMIL能够为现有方案带来一致的性能提升，实现更好的性能。

侯 文 太：图卷积网络驱动的组织病理图像智能分析方法

病理检查是认识疾病本质的理论基础。由于病理组织复杂的形态和病理数据类型的多样性，人工阅片是一项耗时且富有挑战性的工作。图卷积网络可以对非欧式数据进行表示学习，常被认为是一种有前途的组织病理图像的分析手段。在报告中，侯文太首先介绍了基于空间层次化图卷积网络和动态结构学习的病理感兴趣区域图像分类方法（SHGCN），该方法可以通过图卷积挖掘不同实体的空间特征并通过基于视觉变换器（ViT）的交互机制聚合多级实体的语义来提取丰富且有区别的特征，还配备了动态结构学习（DSL）模块，用于有效的组织学图像分类。他介绍了第二种基于异构多实例学习和层次化表示的病理全切片图像分类（H2-MIL），该方法设计了一种新颖的分辨率感知注意卷积（RAConv）块，从图中学习紧凑但有区别的表示，它解决了具有不同分辨率的节点邻居的异质性，并产生更可靠的消息传递。为了探索WSI金字塔与任务相关的结构化信息，该方法还包含了一种迭代分层池（IHPool）模块，根据不同节点的缩放关系逐步聚合异构图。他还分享了基于多范围分析和层次化图Transformer的病理全切片图像生存预测、基于混合图卷积网络和在线掩码自编码器的鲁棒多模态生存预测方法，帮助医生简化诊疗流程，为患者的疾病诊断提供重要参考。

蔡 程 飞：基于结直肠病理图像计算的预后研究

对医学图像中不同类型组织成分的分析，以及相关病理组学特征分析对预测患者术后生存状况有着重要作用。结直肠癌是一种高发的癌症，与人们的生活习惯密切相关，“早发现早治疗”将会很大程度上提高患者的预后效果。蔡程飞在报告中首先介绍了一种结直肠癌全扫描病理图像的组织分割方法DeepTissue Net，该方法将每一层卷积层输出的特征映射进行连接，保证特征映射的充分利用，同时引入focal loss损失函数缓解样本相似性以及样本不均衡问题。然后，他描述了预后生存分析的流程，第一步针对结直肠癌全扫描病理图像中的多种组织类型进行分制从而准确找到感兴趣区域；第二步分析结直肠癌病理图像中的组织成分等相关特征进行预后分析模型的建立，分析患者的生存状况以及生存差异性。通过预测患者治疗后的预后状况，能够更好地为医生的诊疗提供帮助，辅助医生制定更加准确的治疗方案，便利患者。

Panel

1

病理全切片图像处理技术的瓶颈、

挑战和发展趋势是什么？

曲麟昊：以病理全切片图像为例，它的slide级别的标签很容易获得，但是instance级别的标签只能得到稀疏的标志，如何从稀疏的标志上挖掘更有效的信息是一个难题，所以如何从稀疏的slide级别的分类到instance级别的分类是值得研究的。

蔡程飞：首先，在处理病理图像时，数据来源很重要，我们合作的大部分医院目前不具备数字化平台可以完成数据的筛选，需要我们人为地手动筛选；其次，对于年代久远的图片会褪色，进行数据的保存或者重新染色是一个问题；第三，数据分层问题，如何将染色图片分成其他类型的是目前遇到的问题；最后，所有病例图像的数字量非常大，将所有切片进行数字化存储，实现数字化的管理、调用、出栈、入栈，并且充分利用数据挖掘疾病信息是面临的较大挑战。

侯文太：在实现端到端的医学图像学习时，还可以再考虑如何使instance级别的数据特征分布更规整，这也是实现instance分类的基本思路。实现instance级别的分类有很多手段，如知识蒸馏、因果推断等，在后期CS领域也一定会有更值得尝试的技术。对于临床病理图像的预处理，更需要统一的标准库将病理学图像标准化。我更关注的方向是病理诊断，目前对于疾病的分类诊断技术已经相对成熟，如果能够再进行一些分期预测、疗效预测、生存风险的预测，再纳入多组学的知识充分挖掘病理组学的数据信息或许可以让病理组学的性能更好。

林天成：我认为在该领域还缺少一个真正意义上的Benchmark，目前所使用的是开源数据集或公共数据库，这会导致处理算法时遇到很多问题，比如当接触新的数据集或任务时所要耗费的成本非常高，不同研究人员的沟通成本也会很高，大家很难从性能指标上去判断一个算法的好坏。所以该领域若想要更快地发展，需要有统一的Benchmark的出现让大家更专注于算法的开发研究。

2

如何将技术更好地从研究真正应用于临床？

曲麟昊：首先，在临床研究中，数据的搜集、制片的标准很难统一，这是一个较大的问题。在具体处理的时候，需要有统一的Benchmark才能真正去衡量算法的性能。关于均匀染色，使用跨模态、diffusion等技术实现病理图像的生成，从而不需要染色或者进行数据的扩增减缓染色差异，是未来可以探索的一个方向。其次，关于病理数据的瓶颈，医院的私有数据集获取困难，并且医生详细标注数据通常耗费大量的时间精力，可以尝试让医生部分标注数据。目前临床的算法研究中更关注评价指标的涨点，但这对于临床实践并没有很大的影响，我们应该真正地专注于临床任务，如生存分析、药物治疗反应、术后治疗反应等。

蔡程飞：做医学相关工作的理念是源于“临床-赋能临床-回归临床”。首先，我们的研究工作应该力求能解决一定的实际问题，可以通过与医生沟通了解存在的真实问题，从实际需求出发研究解决方案。对于病理方面的产品应用，目前尚未实现广泛的落地，未来我们应该更关注实际的临床问题，才能真正促进病理研究和健康医疗的发展。

林天成：能更好地服务医疗系统的AI技术才是真正的好技术。之前沟通过的医生几乎都表示AI会取代医生而非辅助，他们希望有明显临界点的临床任务可以完全被AI替代，还有少数应用可以实现全自动加少量的人工干预。有些医生也表示好的AI技术应该真正帮助到患者，节省费用和时间成本，甚至可以普及下沉到基层医院。未来如果AI可以替代医生实现这些应用，那么将有可能提高基层医院的诊断水平，从而推动社会医学事业的发展。

侯文太：首先在开发技术时首先应该考虑医生和普通大众的需求；其次也可以进行算法可解释性以及量化统计方面的探索，做一些AI for Science的工作，帮助医生更好地理解核心技术；最后，让技术真正应用于临床，还需要做好人机交互，在算法的开发过程中，要与医生、患者多交流，考虑真实的应用场景和实际成本。

3

大模型与计算病理结合未来的挑战是什么？

未来的发展趋势如何？

蔡程飞：大模型与计算病理相结合是未来的主要方向，我们的研究趋势是建立一套通用的模型实现人体各个组织器官的通用分割，避免重复工作从而节约研究时间。其次，可以利用大模型对患者的病理信息进行定量描述，结合多模态信息对患者的治疗效果进行预测。关于未来的挑战，主要是算力问题，高端的显卡普通人是难以获得的，如何在算力有限的情况构建成规模的大模型是主要的难题。

曲麟昊：在病理领域是否真的需要大模型或者是否需要一个通用的大模型是第一点思考，需要验证大模型是否能够真正地帮助解决临床任务。关于挑战，首先是微调，利用大模型进行微调的效果有时甚至不如解决特定任务大模型的效果，其次是病理数据的隐私性问题导致大量数据的获取有难度，第三是算力问题，普通的实验室有可能缺乏支撑巨大数目运算的条件。

林天成：在病理领域应用大模型面临的首要难题是缺乏开源的数据集，假设在数据问题解决之后，需要考虑如何将迁移算法应用到病理学中打造更专业的大模型，在基础的大模型构建完成后，可以针对需要更多信息的任务去对大模型进行系统层面的整合。

侯文太：病理的下游任务非常多，如癌症诊断、生存预测、疗效预测等，而这些任务的关键在于特征的提取，所以大模型在该领域的研究是非常有必要的，但是如何将其用到下游任务的微调上是具有难度的。关于大模型应用的挑战，首先是病理数据的成像模式与自然图像是不同的，这需要在大模型的构建和设计过程中提前考虑，其次大量的医学数据涉及患者的个人信息，做好隐私保护也是较重要的一点。

整理：陈研

审核：蔡程飞、曲麟昊、林天成、侯文太

往期精彩文章推荐

记得关注我们呀！每天都有新知识！

 关于AI TIME 

AI TIME源起于2019年，旨在发扬科学思辨精神，邀请各界人士对人工智能理论、算法和场景应用的本质问题进行探索，加强思想碰撞，链接全球AI学者、行业专家和爱好者，希望以辩论的形式，探讨人工智能和人类未来之间的矛盾，探索人工智能领域的未来。

迄今为止，AI TIME已经邀请了1000多位海内外讲者，举办了逾500场活动，超500万人次观看。

我知道你

在看

哦

~

点击 阅读原文 查看回放！