测试一个医疗多模态大模型HealthGPT，据说是目前最强医疗视觉模型-CSDN博客

本文链接：https://blog.csdn.net/2401_85375151/article/details/147702470

测试一个医疗多模态大模型HealthGPT，据说是目前最强医疗视觉模型

前段时间，我在业余时间折腾了一下AI病理识别，然后我的好朋友红薯CTO就在模力方舟上整了个专门做医疗视觉识别的多模态大模型HealthGPT，由浙江大学、新加坡国立大学等机构联合研发，是一个专注于医疗领域的多模态大语言模型（Med-LVLM），旨在通过统一框架整合视觉理解和生成能力。

功能特点：

多任务支持：支持 7 种医学理解任务（如诊断问答、报告生成）和 5 种生成任务（如医学图像超分辨率、CT转MRI）。

异构知识整合：通过自回归方法将文本与图像处理无缝融合，实现跨模态医疗场景应用。

创新架构：基于大语言模型（LLM）扩展，结合视觉编码器和生成器，提升医疗图像分析与合成的精度。

细节咱也弄不明白，直接上图：

给出的结果如下：

这张病理切片显示了肺部组织的显微镜图像，使用了H&E染色。图中可以看到肺泡结构，其中一些肺泡内有细胞浸润，这些细胞呈现出不规则的形状和大小，这是肿瘤细胞的特征。这些肿瘤细胞的核较大，染色质密集，核仁清晰可见，这些都是肿瘤细胞的典型特征。图中还标记了两个区域，一个是肺泡内的肿瘤细胞浸润，另一个是肺泡壁的肿瘤细胞浸润。这些特征表明存在肺部的肿瘤性病变，可能是肺癌。

原片如下：

欢迎。大家去测试：https://ai.gitee.com/serverless-api?model=HealthGPT-L14&tab=info

如何学习AI大模型？

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。