再发布！哈佛医学院又一病理大模型TITAN

最新推荐文章于 2025-03-17 04:00:00 发布

小马不会过河

最新推荐文章于 2025-03-17 04:00:00 发布

阅读量2.1k

点赞数 30

文章标签：人工智能百度机器人算法 embedding

本文链接：https://blog.csdn.net/m0_59163425/article/details/144789091

版权

近日，哈佛医学院再次取得病理大模型突破性进展，发布全新开源多模态全切片基础模型TITAN，它通过视觉自监督学习以及与相应病理报告的视觉-语言对齐，在无需任何微调也不要求临床标签的情况下，能够提取通用的切片表示，并生成可推广到资源有限临床场景（如罕见疾病检索和癌症预后）的病理报告，克服现有模型的局限，为病理学研究和临床实践提供更有效的工具。

01 TITAN模型架构

预训练策略

包含三个不同的阶段，以确保最终生成的切片层面表示能够借助视觉和语言监督信号，同时捕捉ROI层面以及WSIs层面的组织形态学语义。为了便于表示，将第一阶段仅视觉预训练的模型称为TITANV，将经过所有三个预训练阶段的完整模型称为TITAN。

第一阶段（仅视觉预训练）：

TITAN在名为Mass-340K的内部数据集上进行预训练，该数据集包含335,645张全切片图像（WSIs）及182,862份医学报告，涵盖20种器官、多种染色类型（苏木精-伊红染色占90.9%，免疫组织化学染色占9.1%）以及肿瘤性和非肿瘤性组织（分别占70.0%和30.0%）。

TITANV预训练的Mass-340K数据集组织部位分布情况

第二阶段（感兴趣区域与合成标题对齐）：

使用423,122对8K×8K的感兴趣区域及其由PathChat生成的合成标题，对TITANV 进行预训练，使模型能捕捉区域层面形态学信息。

第三阶段（全切片图像与病理报告对齐）：

利用182,862对全切片图像及其病理报告进一步预训练，得到最终模型TITAN，使其具备处理切片层面高层次描述的能力。

模型设计

TITAN基于视觉Transformer（ViT架构，切片编码器使用预先提取的图像块特征，按二维特征网格排列以保留空间上下文。通过将图像块尺寸增大，有效减少输入序列长度。在处理全切片图像尺寸和形状不规则问题上，采用区域裁剪和数据增强方法。

语言能力赋予

通过对比标题生成器（CoCa）在第二、三阶段的预训练，将切片表示分别与合成标题及病理报告对齐，微调切片编码器、文本编码器和多模态解码器，使模型具备语言能力，包括生成病理报告、零样本分类和跨模态检索等。

02 TITAN模型评估

区域及切片层面诊断能力

在形态学分类（14 项任务）、分级（3 项任务）、分子分类（38 项任务）以及生存预测（6 项任务）等一系列广泛的任务上对TITAN进行评估观察到TITAN和TITANV的表现优于其他切片编码器。

跨模态能力评估

(a) 零样本评估示意图。通过在切片嵌入空间中识别与查询切片最接近的文本提示嵌入，对查询切片进行分类。

(b) TITAN和PRISM的零样本性能表现。

(d) 对癌症基因组图谱（TCGA）-切片-报告数据集进行报告生成评估。

(e) TITAN和PRISM生成报告的癌症基因组图谱（TCGA）示例，同时展示了相应的临床报告。

检索能力评估

(a) 在罕见癌症检索任务上的切片检索结果，“罕见癌症（内部罕见癌症队列）” 包含 43 种罕见癌症类型和 143 种常见癌症类型，总共 186 个类别。“罕见癌症-公共（公共罕见癌症队列）”包含 29 种罕见癌症类型和 98 种常见癌症类型，共计 127 个类别。

(b) 展示了查询切片以及四个具有代表性的检索到的切片。数字表示查询切片与检索到的切片之间的余弦相似度。

(d) 在癌症基因组图谱（TCGA）包含10108对全切片图像和报告的队列中，针对TITAN和 PRISM 进行报告到切片以及切片到报告的跨模态检索性能评估。

03 TITAN的临床应用潜力与局限

提供现成多模态切片嵌入的TITAN在临床诊断工作流程中有重要潜力，可协助病理学家和肿瘤学家检索相似切片和报告，减少误诊和观察者间差异，其强大泛化能力可处理多种癌症类型的复杂场景，且无需为每个任务专门设计算法，简化了切片层面任务。

虽然Mass-340K数据集切片数量相对较少，但TITAN可在数据量和架构上扩展，通过更多临床数据和合成标题可提升性能，在病理学领域具有重要意义。尽管存在一些局限性，但其在多种任务中的出色表现和潜在的改进方向为病理学研究和临床应用带来了新的希望！

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述