-AI MED·智慧医疗-
AI+医疗项目
Health And AI
临床专科智能大模型对话系统
项目简介
"临床专科对话系统"是一个结合了知识图谱和大语言模型的智能对话系统。该系统旨在通过构建临床专科相关的知识图谱,并利用大语言模型的生成能力,以专科医护的口吻回答用户的问题。
在这个示例中,我们将以心脏科的专科资料为基础,模拟如何通过该代码建立知识图谱,并实现基于知识检索的生成式问答(RAG,Retrieval-Augmented Generation)。
一、数据采集
心脏科示例
我们需要收集心脏科相关的专业资料,包括:
-
心脏疾病的种类(如冠心病、心肌炎、心律失常等)
-
症状(如胸痛、心悸、呼吸困难)
-
检查方法(如心电图、超声心动图)
-
治疗手段(如药物治疗、介入治疗、手术治疗)
-
药物(如β受体阻滞剂、钙通道阻滞剂)
数据格式
我们可以将这些资料整理为结构化的文本,或者存储为CSV、JSON等格式,便于后续处理。
二、知识抽取
知识抽取部分主要是从文本中提取实体和关系。
心脏科示例
我们需要从心脏科的文本资料中提取:
-
实体:疾病、症状、检查方法、治疗手段、药物等
-
关系:疾病-症状、疾病-检查方法、疾病-治疗手段、药物-治疗疾病
示例代码
import re
# 示例文本
text = "冠心病的主要症状包括胸痛和呼吸困难。常用的检查方法有心电图和冠状动脉造影。治疗手段包括药物治疗和手术治疗。常用药物有β受体阻滞剂。"
# 提取实体的正则表达式
disease_pattern = r"(冠心病|心肌炎|心律失常)"
symptom_pattern = r"(胸痛|心悸|呼吸困难)"
test_pattern = r"(心电图|超声心动图|冠状动脉造影)"
treatment_pattern = r"(药物治疗|介入治疗|手术治疗)"
drug_pattern = r"(β受体阻滞剂|钙通道阻滞剂)"
# 提取实体
diseases = re.findall(disease_pattern, text)
symptoms = re.findall(symptom_pattern, text)
tests = re.findall(test_pattern, text)
treatments = re.findall(treatment_pattern, text)
drugs = re.findall(drug_pattern, text)
# 输出结果
print("疾病:", diseases)
print("症状:", symptoms)
print("检查方法:", tests)
print("治疗手段:", treatments)
print("药物:", drugs)
输出:
疾病:['冠心病']
症状:['胸痛', '呼吸困难']
检查方法:['心电图', '冠状动脉造影']
治疗手段:['药物治疗', '手术治疗']
药物:['β受体阻滞剂']
关系抽取
接下来,我们需要从句子中提取实体之间的关系。例如:
-
冠心病 有症状 胸痛
-
冠心病 检查方法 心电图
-
冠心病 治疗手段 药物治疗
可以使用依存句法分析或预训练的关系抽取模型来实现。这部分代码可能涉及到NLP库,如spaCy或HanLP。
三、知识图谱构建
将抽取的实体和关系构建成三元组(subject, predicate, object),然后建立知识图谱。
心脏科示例
使用提取的实体和关系,构建三元组。例如:
-
(“冠心病”, “有症状”, “胸痛”)
-
(“冠心病”, “检查方法”, “心电图”)
-
(“冠心病”, “治疗手段”, “药物治疗”)
-
(“药物治疗”, “使用药物”, “β受体阻滞剂”)
示例代码
# 构建三元组
triples = [
("冠心病", "有症状", "胸痛"),
("冠心病", "有症状", "呼吸困难"),
("冠心病", "检查方法", "心电图"),
("冠心病", "检查方法", "冠状动脉造影"),
("冠心病", "治疗手段", "药物治疗"),
("冠心病", "治疗手段", "手术治疗"),
("药物治疗", "使用药物", "β受体阻滞剂")
]
四、知识图谱存储与查询
原始代码
将知识图谱存储在图数据库中,如Neo4j,并提供查询接口。
心脏科示例
我们可以使用Neo4j来存储上述三元组,并通过Cypher查询语言进行查询。
示例代码
from py2neo import Graph, Node, Relationship
# 连接到Neo4j数据库
graph = Graph("bolt://localhost:7687", auth=("neo4j", "password"))
# 清空数据库
graph.delete_all()
# 创建节点和关系
for subj, pred, obj in triples:
subj_node = Node("Entity", name=subj)
obj_node = Node("Entity", name=obj)
graph.merge(subj_node, "Entity", "name")
graph.merge(obj_node, "Entity", "name")
rel = Relationship(subj_node, pred, obj_node)
graph.merge(rel)
查询示例
# 查询冠心病的症状
query = """
MATCH (d:Entity)-[r:有症状]->(s:Entity)
WHERE d.name = '冠心病'
RETURN s.name AS symptom
"""
results = graph.run(query)
for record in results:
print(record["symptom"])
输出:
胸痛
呼吸困难
五、问题解析
原始代码
将用户的自然语言问题解析为可执行的查询,提取意图和关键实体。
心脏科示例
用户问题示例:“冠心病有哪些症状?”
我们需要解析出:
-
意图:查询症状
-
实体:“冠心病”
示例代码
# 用户问题
question = "冠心病有哪些症状?"
# 意图识别(简单关键词匹配)
if "症状" in question:
intent = "查询症状"
else:
intent = "未知"
# 实体识别
entities = re.findall(disease_pattern, question)
print("意图:", intent)
print("实体:", entities)
输出:
意图:查询症状
实体:['冠心病']
六、知识检索
原始代码
根据解析的意图和实体,从知识图谱中检索相关信息。
心脏科示例
使用上一步得到的意图和实体,构造查询,从知识图谱中获取答案。
示例代码
if intent == "查询症状" and entities:
disease = entities[0]
query = f"""
MATCH (d:Entity)-[r:有症状]->(s:Entity)
WHERE d.name = '{disease}'
RETURN s.name AS symptom
"""
results = graph.run(query)
symptoms = [record["symptom"] for record in results]
print(f"{disease}的症状有:{', '.join(symptoms)}。")
输出:
冠心病的症状有:胸痛, 呼吸困难。
七、回答生成
原始代码
利用大语言模型(如GPT)将检索到的知识生成自然语言回答,可能还会定制的口吻。
心脏科示例
我们可以将检索到的信息传递给大语言模型,如GPT-4,生成专业且通俗的回答。
示例代码
# 假设我们有一个函数generate_answer,用于调用大语言模型
def generate_answer(disease, symptoms):
prompt = f"请详细介绍一下{disease}的症状,包括:{', '.join(symptoms)}。"
# 调用大语言模型(伪代码)
answer = call_language_model(prompt)
return answer
# 使用检索到的症状生成回答
answer = generate_answer(disease, symptoms)
print(answer)
由于无法实际调用大语言模型,这里假设生成的回答如下:
冠心病的主要症状包括胸痛和呼吸困难。其中,胸痛常在劳累或情绪激动时出现,休息后可缓解;呼吸困难可能在活动时加重,需引起重视。
综合示例:实现RAG
通过上述步骤,我们实现了将知识图谱与大语言模型相结合的RAG系统。当用户提出问题时:
-
问题解析:识别意图和实体。
-
知识检索:从知识图谱中获取相关信息。
-
回答生成:利用大语言模型,将检索到的知识生成自然语言回答。
这种方法的优势在于:
-
专业性:确保回答的准确性和专业性。
-
流畅性:大语言模型保证了语言的流畅和自然。
-
可扩展性:知识图谱可以不断更新和扩充,适应新的知识。
如何学习大模型 AI ?
由于新岗位的生产效率,要优于被取代岗位的生产效率,所以实际上整个社会的生产效率是提升的。
但是具体到个人,只能说是:
“最先掌握AI的人,将会比较晚掌握AI的人有竞争优势”。
这句话,放在计算机、互联网、移动互联网的开局时期,都是一样的道理。
我在一线互联网企业工作十余年里,指导过不少同行后辈。帮助很多人得到了学习和成长。
我意识到有很多经验和知识值得分享给大家,也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑,所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限,很多互联网行业朋友无法获得正确的资料得到学习提升,故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。
第一阶段(10天):初阶应用
该阶段让大家对大模型 AI有一个最前沿的认识,对大模型 AI 的理解超过 95% 的人,可以在相关讨论时发表高级、不跟风、又接地气的见解,别人只会和 AI 聊天,而你能调教 AI,并能用代码将大模型和业务衔接。
- 大模型 AI 能干什么?
- 大模型是怎样获得「智能」的?
- 用好 AI 的核心心法
- 大模型应用业务架构
- 大模型应用技术架构
- 代码示例:向 GPT-3.5 灌入新知识
- 提示工程的意义和核心思想
- Prompt 典型构成
- 指令调优方法论
- 思维链和思维树
- Prompt 攻击和防范
- …
第二阶段(30天):高阶应用
该阶段我们正式进入大模型 AI 进阶实战学习,学会构造私有知识库,扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架,抓住最新的技术进展,适合 Python 和 JavaScript 程序员。
- 为什么要做 RAG
- 搭建一个简单的 ChatPDF
- 检索的基础概念
- 什么是向量表示(Embeddings)
- 向量数据库与向量检索
- 基于向量检索的 RAG
- 搭建 RAG 系统的扩展知识
- 混合检索与 RAG-Fusion 简介
- 向量模型本地部署
- …
第三阶段(30天):模型训练
恭喜你,如果学到这里,你基本可以找到一份大模型 AI相关的工作,自己也能训练 GPT 了!通过微调,训练自己的垂直大模型,能独立训练开源多模态大模型,掌握更多技术方案。
到此为止,大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗?
- 为什么要做 RAG
- 什么是模型
- 什么是模型训练
- 求解器 & 损失函数简介
- 小实验2:手写一个简单的神经网络并训练它
- 什么是训练/预训练/微调/轻量化微调
- Transformer结构简介
- 轻量化微调
- 实验数据集的构建
- …
第四阶段(20天):商业闭环
对全球大模型从性能、吞吐量、成本等方面有一定的认知,可以在云端和本地等多种环境下部署大模型,找到适合自己的项目/创业方向,做一名被 AI 武装的产品经理。
- 硬件选型
- 带你了解全球大模型
- 使用国产大模型服务
- 搭建 OpenAI 代理
- 热身:基于阿里云 PAI 部署 Stable Diffusion
- 在本地计算机运行大模型
- 大模型的私有化部署
- 基于 vLLM 部署大模型
- 案例:如何优雅地在阿里云私有部署开源大模型
- 部署一套开源 LLM 项目
- 内容安全
- 互联网信息服务算法备案
- …
学习是一个过程,只要学习就会有挑战。天道酬勤,你越努力,就会成为越优秀的自己。
如果你能在15天内完成所有的任务,那你堪称天才。然而,如果你能完成 60-70% 的内容,你就已经开始具备成为一名大模型 AI 的正确特征了。