医疗领域大模型总结及RAG新框架RAGLAB：兼看StructuredRAG结构化指令遵循评估基准

我们来看三个工作，主要围绕领域大模型以及RAG。

一个是领域大模型进展-医疗领域大模型总结，一个是RAG框架进展RAGLAB:检索增强生成框架，一个是STRUCTUREDRAG：评估RAG回复中的格式指令输出遵循性能，三个工作都很有趣，会有一些收获。

一、领域大模型进展-医疗领域大模型总结

领域大模型进展。医学领域的大模型综述，Clinical Insights: A Comprehensive Review of Language Models in Medicine：https://arxiv.org/pdf/2408.11735，从内容上看，该工作分类和讨论了LLMs在医疗领域的多种应用，包括文本生成、标记分类、序列分类、问答和信息提取、摘要和释义、以及对话等任务。

一图胜千言，可以看看当前医疗模型的一些列表，Overview of Prevalent Medical Language Models

1、医疗大模型的列表

其提供了当前流行的医疗语言模型的概述，包括它们的名称、年份、架构、训练数据和实验数据集。

• 名称：列出了各个医疗语言模型的名称，例如ClinicalBERT、BioBERT、PubMedBERT等。

• 年份：大约的年份，这些模型是在何时被提出的。

• 架构：模型所基于的架构，例如BERT、GPT-2、T5等。

• 训练数据：用于训练这些模型的数据集，如MIMIC-III、PubMed、CPRD等。

• 实验数据集：用于评估模型性能的数据集，例如NCBI、i2b2/VA、BC5等。

表中还提到了一些特定于任务的模型，例如：

• ClinicalBERT：2019年基于BERT架构，使用MIMIC-III数据集进行训练，用于预测医院再入院。

• BioBERT：2019年同样基于BERT架构，训练数据包括PubMed摘要和PMC全文文章，用于命名实体识别（NER）、关系提取（RE）和医学问答（QA）。

• BioGPT：2022年基于GPT-2 XL架构，使用PubMed项目进行训练，用于文本分类、生物医学文本生成和数据挖掘。

• ClinicalT5：2022年基于T5架构，使用MIMIC-III的文本笔记进行训练，用于文档分类、命名实体识别、自然语言推理（NLI）等。

• ChatDoctor：2023年基于LLaMA架构，使用HealthCareMagic100k数据集进行微调，用于对话系统。

2、医疗大模型的应用

也可以看看当前大模型在医疗领域的应用，Summary of Major LLM Applications in Medical Domain

表3总结了大型语言模型（LLMs）在医疗领域的主要应用，包括各种医疗应用的例子、使用的数据集和解决方案。以下是对表中内容的详细解读：

1）LLM应用

• 文本生成：如医学报告生成、临床笔记生成、为非专业人士生成摘要、患者-提供者对话摘要生成、从图形模型生成文本描述等。

• 标记分类：临床缩写消歧、专有名词消歧等。

• 序列分类：包括表型分析、医学编码、患者时间线建模、社交媒体监控等。

• 问答和信息提取：从电子健康记录中查询数据、从临床叙述报告中提取信息、从医学文章中提取信息等。

• 摘要和释义：临床研究报告摘要、患者-提供者对话摘要、医学文本简化等。

• 对话：包括心理健康机器人、医疗聊天机器人和健康助手、分诊、鉴别诊断等。

2）例子

• 文本生成：MEDSUM-ENT、Talk2Care等。

• 标记分类：SciBERT、BioBERT、ClinicalBERT等用于临床缩写消歧。

• 序列分类：Foresight、BioClinicalBERT等用于患者时间线建模和表型分析。

• 问答和信息提取：quEHRy、BiomedBERT、PubMedBERT等用于从电子健康记录中提取信息。

• 摘要和释义：fine-tuned BART、RALL、fine-tuned Llama等用于临床研究报告摘要。

• 对话：MedPaLM、DRG-LLaMA、openCHA等用于医疗对话系统。

3）重要数据集

• 文本生成：CTRG-Chest-548K、CTRGBrain-263K、IUXray、MIMIC-CXR、CheXpert等。

• 标记分类：CASI、NLM-WSD等。

• 序列分类：CSSRS、MIMIC-III、MIMIC-IV、eICUCRD等。

• 问答和信息提取：CASI、n2c2、i2b2、PubMedQA、MedMCQA、emrQA、BIOASQ等。

二、RAG框架进展RAGLAB:检索增强生成框架

《RAGLAB: A Modular and Research-Oriented Unified Framework for Retrieval-Augmented Generation》：https://arxiv.org/pdf/2408.11381，这个还不错。

可以看看以下几个重点内容：

1、RAGLAB构成

检索器（Retriever）：集成了两种基于BERT的模型，提供了统一的查询接口。

语料库（Corpus）：提供了预处理的Wikipedia语料库和索引。

生成器（Generator）：集成了Huggingface Transformers和VLLM，支持多种开源模型。

指令实验室（Instruction Lab）：设计了三个关键组件，允许用户导入和组合不同的指令。

训练器（Trainer）：集成了加速和DeepSpeed库，支持模型微调。

2、现有主流RAG框架的对比

表1对比了不同的RAG库和框架，并根据几个关键特性进行了评估。

• 公平比较：指在评估过程中对所有基本组件进行对齐，包括随机种子、生成器、检索器和指令。这确保了不同算法之间的比较是公平的。

• Langchain、LlamaIndex和Haystack不支持公平比较。

• FastRAG、RALLE、LocalRQA、AutoRAG、FlashRAG和RAGLAB支持公平比较。

• 数据收集器：指库的能力，可以收集或生成训练和测试数据，通过从现有的原始数据集进行采样或使用LLMs构建标记数据。

• 除了Langchain、LlamaIndex和Haystack之外，其他库都具备数据收集器的功能。

• 训练器：指库是否提供了训练模型的能力。

• 只有LocalRQA、AutoRAG、FlashRAG和RAGLAB具备训练器功能。

• 自动评估：指库是否具备自动评估模型性能的能力。

• 除了Langchain、LlamaIndex、Haystack和RALLE之外，其他库都具备自动评估功能。

• 模块化设计：指库的设计是否模块化，允许用户透明地修改和扩展组件。

• Langchain、LlamaIndex、Haystack、FastRAG和RALLE具备模块化设计。

• LocalRQA不具备模块化设计，而AutoRAG和FlashRAG具备。

• RAGLAB具备模块化设计。

3、不同RAG算法的指令设计 Algorithm Instructions

不同RAG算法的指令设计包括Naive RAG（简单RAG）、RRR、ITER-RETGEN、Self ASK、Active RAG以及Active RAG

三、STRUCTUREDRAG：评估RAG回复中的格式指令输出遵循性能

关于RAG评估进展。《StructuredRAG: JSON Response Formatting with Large Language Models》：https://arxiv.org/html/2408.11061v1，https://arxiv.org/abs/2408.11061，用来评估RAG回复中的格式指令输出遵循性能。

从内容上看，该工作主要探讨了大模型（LLMs）生成结构化输出（如JSON格式） 的能力，提出StructuredRAG，一个包含六个任务的基准测试，旨在评估LLMs遵循响应格式指令的熟练程度。

1、StructuredRAG基准测试

StructuredRAG基准测试，包括六种测试，评估字符串、整数、布尔值、字符串列表和复合对象的响应格式，也就是string, integer, boolean, List[string], AnswerWithConfidence, and List[AnswerWithConfidence]

2、 f-String and Follow the Format (FF) prompting策略的对比

3、主要结论

1. 性能差异显著：在StructuredRAG基准测试中，大型语言模型在遵循JSON响应格式指令方面表现出显著的性能差异。实验结果显示成功率从0%到100%不等，表明任务复杂性、模型选择和提示策略都会影响性能。

2. 任务复杂性影响性能：涉及列表或复合对象输出的任务对LLMs来说更具挑战性，性能在这些任务上有所下降。

3. 模型间性能比较：Gemini 1.5 Pro和Llama 3 8B-instruct在基准测试中显示出可比的性能，尽管Gemini 1.5 Pro在平均成功率上略高于Llama 3 8B-instruct。

4. 提示策略的影响：不同的提示策略（f-String和Follow the Format，FF）对模型性能有不同的影响。对于Gemini 1.5 Pro，f-String提示策略更为有效，而对于Llama 3 8B-instruct，FF提示策略表现更好。

5. OPRO优化器的有效性：使用OPRO优化器对Llama 3 8B-instruct的提示进行优化，成功地将生成复合对象列表任务的成功率提高到了100%，这表明通过优化提示可以显著提高LLMs生成结构化输出的能力。

总结

本文主要介绍了领域大模型进展-医疗领域大模型总结，RAGLAB:检索增强生成框架，STRUCTUREDRA评估RAG回复中的格式指令输出遵循性能。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

第一阶段（10天）：初阶应用

该阶段让大家对大模型 AI有一个最前沿的认识，对大模型 AI 的理解超过 95% 的人，可以在相关讨论时发表高级、不跟风、又接地气的见解，别人只会和 AI 聊天，而你能调教 AI，并能用代码将大模型和业务衔接。

• 大模型 AI 能干什么？
• 大模型是怎样获得「智能」的？
• 用好 AI 的核心心法
• 大模型应用业务架构
• 大模型应用技术架构
• 代码示例：向 GPT-3.5 灌入新知识
• 提示工程的意义和核心思想
• Prompt 典型构成
• 指令调优方法论
• 思维链和思维树
• Prompt 攻击和防范
• …

第二阶段（30天）：高阶应用

该阶段我们正式进入大模型 AI 进阶实战学习，学会构造私有知识库，扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架，抓住最新的技术进展，适合 Python 和 JavaScript 程序员。

• 为什么要做 RAG
• 搭建一个简单的 ChatPDF
• 检索的基础概念
• 什么是向量表示（Embeddings）
• 向量数据库与向量检索
• 基于向量检索的 RAG
• 搭建 RAG 系统的扩展知识
• 混合检索与 RAG-Fusion 简介
• 向量模型本地部署
• …

第三阶段（30天）：模型训练

恭喜你，如果学到这里，你基本可以找到一份大模型 AI相关的工作，自己也能训练 GPT 了！通过微调，训练自己的垂直大模型，能独立训练开源多模态大模型，掌握更多技术方案。

到此为止，大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗？

• 为什么要做 RAG
• 什么是模型
• 什么是模型训练
• 求解器 & 损失函数简介
• 小实验2：手写一个简单的神经网络并训练它
• 什么是训练/预训练/微调/轻量化微调
• Transformer结构简介
• 轻量化微调
• 实验数据集的构建
• …

第四阶段（20天）：商业闭环

对全球大模型从性能、吞吐量、成本等方面有一定的认知，可以在云端和本地等多种环境下部署大模型，找到适合自己的项目/创业方向，做一名被 AI 武装的产品经理。

• 硬件选型
• 带你了解全球大模型
• 使用国产大模型服务
• 搭建 OpenAI 代理
• 热身：基于阿里云 PAI 部署 Stable Diffusion
• 在本地计算机运行大模型
• 大模型的私有化部署
• 基于 vLLM 部署大模型
• 案例：如何优雅地在阿里云私有部署开源大模型
• 部署一套开源 LLM 项目
• 内容安全
• 互联网信息服务算法备案
• …

学习是一个过程，只要学习就会有挑战。天道酬勤，你越努力，就会成为越优秀的自己。

如果你能在15天内完成所有的任务，那你堪称天才。然而，如果你能完成 60-70% 的内容，你就已经开始具备成为一名大模型 AI 的正确特征了。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】