- 博客(3)
- 收藏
- 关注
RSS订阅原创 （多模态医疗）OphGLM: 基于指令和对话训练眼科大型语言和视觉助手
OphGLM由眼底诊断管道和OphGLM管道组成。眼底诊断管道主要进行图像的分类和分割，这些部分协同工作，从输入的眼底图像中提取信息。提取的视觉信息被集成到结构化文本模板中，根据输入的眼底图像形成诊断报告；OphGLM管道，它通过文本拼接过程将眼底图像诊断报告与用户输入的眼底对话合并。这形成一个提示，然后输入 OphGLM，最终生成高质量的响应。整体架构如图3所示。
2023-10-23 09:53:22
338
原创 (多模态医疗) CephGPT-4:采用视觉大语言模型的交互式多模态头影测量和诊断系统
在本文中，我们提出了一种新颖的多模态头影测量分析和诊断对话模型。首先，构建多模态正畸医学数据集，包括头影测量图像和医患对话数据，使用U-net自动分析头影测量标志并生成诊断报告。然后，头影测量数据集和生成的诊断报告分别在 Minigpt-4 和 VisualGLM 上进行微调。
2023-10-16 10:34:20
289
原创 MiniGPT-4: Enhancing Vision-Language Understanding with Advanced Large Language Models
MiniGPT-4论文理解即概述
2023-09-22 11:49:04
195
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人