MedRAX：专注于胸部X光检查的AI医学推理智能体，帮助医生快速解读胸部X光片

❤️ 如果你也关注 AI 的发展现状，且对 AI 应用开发感兴趣，我会每日分享大模型与 AI 领域的开源项目和应用，提供运行实例和实用教程，帮助你快速上手AI技术！

🥦 微信公众号｜搜一搜：蚝油菜花 🥦

---

大家好，我是蚝油菜花，今天跟大家分享一下 MedRAX 这个由多所知名机构联合推出的AI医学推理智能体，专为胸部X光检查和解决复杂医学问题而设计。

🚀 快速阅读

MedRAX 是一款用于胸部X光检查的医学推理AI智能体。

1. 核心功能：整合多种最先进的分析工具，支持多模态推理和动态任务分解。
2. 技术原理：基于LangChain和LangGraph框架，使用具备视觉能力的GPT-4o作为核心语言模型。

MedRAX 是什么

MedRAX（Medical Reasoning Agent for Chest X-ray）是专门为胸部X光检查设计的医学推理AI智能体。通过整合最先进的胸部X光分析工具和多模态大型语言模型，MedRAX能够动态利用这些模型解决复杂的医学查询问题，无需额外训练。MedRAX的核心架构基于LangChain和LangGraph框架，使用具备视觉能力的GPT-4o作为核心语言模型，支持本地和云端部署，并通过Gradio构建了生产级的用户界面。

MedRAX的目标是通过多模态推理和多步骤任务分解，帮助医生快速准确地解读胸部X光片，从而提高诊断效率和准确性。

MedRAX 的主要功能

• 多模态医学推理：整合多种最先进的胸部X光（CXR）分析工具和多模态大型语言模型，动态利用这些模型解决复杂的医学查询问题，无需额外训练。
• 多步骤推理支持：将复杂的医疗查询分解为多个子任务，并逐一解决，包括检测、分类、定位、比较、关系分析、诊断和特征描述。
• 强大的工具集成：集成了多种工具，如视觉问答（CheXagent和LLaVA-Med）、图像分割（MedSAM和PSPNet）、病变定位（Maira-2）、报告生成（SwinV2 Transformer）、疾病分类（DenseNet-121）以及X光生成（RoentGen）等。
• 用户友好界面与灵活部署：提供了一个生产级的用户界面，支持本地和云端部署，能够满足不同医疗场景下的隐私和安全需求。
• 性能验证与基准测试：通过ChestAgentBench基准测试，MedRAX在2500个复杂医疗查询中表现出色，覆盖检测、分类、定位等多个核心能力，其性能优于开源和专有模型。

MedRAX 的技术原理

• 核心架构：MedRAX基于LangChain和LangGraph框架构建，使用具备视觉能力的GPT-4o作为核心语言模型。架构支持动态工具编排，能根据复杂的医疗查询自动选择最优的工具组合。
• 多模态推理与工具集成：MedRAX整合了多种工具，实现多模态推理和精准诊断：
  • 视觉问答（Visual QA）：基于CheXagent和LLaVA-Med进行复杂的视觉理解和医学推理。
  • 图像分割（Segmentation）：使用MedSAM和在ChestX-Det上训练的PSPNet模型进行精确的解剖结构识别。
  • 病变定位（Grounding）：通过Maira-2在医学图像中精确定位特定发现。
  • 报告生成（Report Generation）：使用在CheXpert Plus上训练的SwinV2 Transformer生成详细的医学报告。
  • 疾病分类（Disease Classification）：基于TorchXRayVision中的DenseNet-121检测18种病理类别。
  • X光生成（X-ray Generation）：使用RoentGen生成合成的胸部X光。
• 动态推理与多步骤任务分解：MedRAX能将复杂的医疗查询分解为多个子任务，逐一解决。例如，可以识别病变（检测）、对病变进行分类（分类）、精确定位病变位置（定位）、比较病变的变化（比较）、分析病变之间的关系（关系）、进行临床诊断（诊断）以及描述病变特征（特征描述）。

如何运行 MedRAX

1. 安装依赖

# Clone the repository
git clone https://github.com/bowang-lab/MedRAX.git
cd MedRAX

# Install package
pip install -e .

2. 启动 Gradio 界面

# Start the Gradio interface
python main.py

如果遇到权限问题，可以尝试以下命令：

sudo -E env "PATH=$PATH" python main.py

3. 设置模型目录

确保在 main.py 中设置 model_dir，指向你希望下载或已经存放工具权重的目录。同时，确保在 .env 文件中配置你的 OpenAI API 密钥。

资源

• 项目主页：https://bowang-lab.github.io/MedRAX/
• GitHub 仓库：https://github.com/bowang-lab/MedRAX

---

❤️ 如果你也关注 AI 的发展现状，且对 AI 应用开发感兴趣，我会每日分享大模型与 AI 领域的开源项目和应用，提供运行实例和实用教程，帮助你快速上手AI技术！

🥦 微信公众号｜搜一搜：蚝油菜花 🥦