GPT 应用于医疗软件的想法

目录

一句话概括：

两种方式捕捉图像的空间关系

文本和图像的信息间转化和应用场景

医疗软件的下游任务有哪些

---

一句话概括：

GTP (Generative Pre-Training) 大规模无监督训练一个通用模型 (其中基于Transformer架构，Pre-training model)，再在各个具体任务上精细调节 (Fine-tuning)。

例如：LLMs (大语言模型ChatGPT) 通用模型学习到语言的通用规律和模式，下游任务可 文本生成，文本分类，文本摘要，机器翻译，语音识别，智能客服。

例如：ChatCAD将大型语言模型LLMs集成到医学影像计算机辅助诊断网络，通过生成的诊断结果(分割、疾病的分类概率、病灶检测)，患者和ChatCAD对话问些问题，生成更人性化的回答。

从ChatGPT到ChatCAD：基于大型语言模型的医学图像交互式计算机辅助诊断_大数据AI人工智能培训专家培训讲师叶梓的博客-CSDN博客

两种方式捕捉图像的空间关系

1. CNN 捕捉图像的空间局部特征表示为向量

可以加入注意力机制关注图像的重要区域

2. 视觉语言模型

视觉