ChatCAD: Interactive Computer-Aided Diagnosis on Medical Image using Large Language Models

https://arxiv.org/pdf/2302.07257.pdf

chatCAD: 融合大规模语言模型LLM的语言理解优点和医学图像辅助诊断CAD识别医学图像信息的特点。

优点：可微调每个模型，提供交互式解释和建议，有可能提高在线健康服务

具体步骤：

1. 输入X光片到训练好的CAD模型，取得分类结果输出
2. 翻译输出的tensor为自然语言
3. 使用语言模型总结结果，做出结论
4. 根据可视化模型的结果和大规模语言模型中预训练的医学知识，进行症状，诊断和治疗的对话。例如：这是我的X射线图片，帮我写个报告。胸腔积液严重吗？为什么水肿会导致腿和脚肿胀。

分类器输出5个向量值，代表五种疾病的概率。

将其翻译为自然语言的3种形式：

1. 疾病 + 分数
2. 将评分转换为疾病程度的描述，0.2以下无症状，0.2-0.5小概率，0.5-0.9可能，0.9以上肯定有
3. 简洁提示，只显示0.5以上的疾病

模型数据集：

报告产生网络R2GenCMN，数据集MIMIC-CXR

分类网络PCAM 数据集CheXpert

LLM版本Jan-30-2023

随机选300个测试

实验:

生成报告的质量评价标准PR,RC,F1

比较不同llm，模型越大诊断能力越强，报告更长

限制和讨论：

1. llm产生报告不像人话，产生的报告可能包含这样的句子“网络A诊断发现”，自然语言理解能力降低，BLEU下降
2. 只有三种提示，过于简单
3. 视觉分类器有待改进
4. 没有和医生讨论