A New Era in Computational Pathology: A Survey on Foundation and Vision-Language Models

本文是LLM系列文章,针对《A New Era in Computational Pathology: A Survey on Foundation and Vision-Language Models》的翻译。

计算病理学的新时代:基础和视觉语言模型的调查

摘要

深度学习的最新进展彻底改变了计算病理学 (CPath) 领域,通过将基础模型 (FM) 和视觉语言模型 (VLM) 集成到病理学家的评估和决策过程中,反过来又改变了病理学家的诊断工作流程。 FM 通过学习表示空间来克服 CPath 中现有深度学习方法的局限性,该表示空间可以在没有明确监督的情况下适应各种下游任务。 VLM 允许将用自然语言编写的病理报告用作丰富的语义信息源,以改进现有模型并以自然语言形式生成预测。在本次调查中,对 CPath 中 FM 和 VLM 的最新创新进行了全面、系统的概述。此外,除了将这些模型分类为不同的组之外,还总结了这些模型的工具、数据集和训练方案。这项广泛的调查强调了 CPath 当前的趋势以及未来通过 FM 和 VLM 进行改造的方式。

1 引言

2 病理学多模态数据集

3 基础模型

4 视觉语言模型

5 结论

近年来,使用 FM 和 VLM 进行 CPath 的研究工作数量显着增加,这表明 CPa

### 数据高效且弱监督的计算病理学方法 在全切片图像(WSI)的计算病理学中,数据高效的弱监督方法旨在减少对大规模标注数据的需求,同时保持较高的预测准确性。这些方法通过引入特定的技术框架来应对WSI特有的挑战。 #### 多实例学习(MIL) 多实例学习是一种有效的弱监督策略,在处理WSI时尤为有用。具体来说,整个幻灯片被划分为多个小区域或“实例”,而每个滑动窗口对应一个包(bag)。对于给定的一组未标记的小图块,如果其中至少有一个属于阳性类别,则该包被认为是阳性的;反之则为阴性[^1]。 ```python def create_bags(slide_image, patch_size=256): """将整张幻灯片分割成固定大小的小图块""" patches = [] width, height = slide_image.size for i in range(0, width-patch_size+1, patch_size//2): # 使用步长patch_size/2实现重叠采样 for j in range(0, height-patch_size+1, patch_size//2): patch = slide_image.crop((i, j, i+patch_size, j+patch_size)) patches.append(patch) return patches ``` 这种方法允许算法仅依赖于幻灯片级别的标签来进行训练,而不是精确到每一个细胞或者组织结构上的细粒度注解。因此大大降低了人工成本,并提高了模型泛化能力。 #### 训练流程优化 为了进一步提高效率并降低资源消耗,研究者们还设计了一套完整的MIL分类管道: 1. 对每轮迭代中的所有样本执行一次前向传播; 2. 根据得到的结果对同一张幻灯片内部的不同实例进行排序; 3. 只选取排名最高的那个作为代表参与反向传播更新参数[^2]。 这种机制不仅简化了传统意义上的逐像素标注过程,而且能够聚焦最具判别力的部分特征,从而提升整体性能表现。 综上所述,针对全切片图像的数据高效且弱监督计算病理学方案主要依靠多实例学习理论以及精心构建的学习架构共同作用下得以实现。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

UnknownBody

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值