用临床知识图谱 + 医学文本向量库，设计一个医疗诊断系统

 

---

词嵌入模型 与 文本生成模型

两大类深度学习模型，分别用于不同的自然语言处理（NLP）任务：

• 词嵌入模型（如text2vec、M3E等）
• 文本生成模型（如GPT、BaiChuan等）

词嵌入模型

词嵌入模型是一类用于将单词、短语或者文档转换为向量形式的模型。

这些向量捕捉了单词之间的语义关系，如相似性或上下文关联。

例如，text2vec、M3E等模型能够将文本中的每个单词映射到一个高维空间中的点，这个点的位置与单词的语义密切相关。

通过这种方式，模型能够理解和处理自然语言，为诸如文本分类、情感分析等任务提供基础。

举个例子：在词嵌入模型中，"king"和"queen"这两个词虽然是不同的，但它们在向量空间中的位置会非常接近，因为它们有着相似的上下文和语义关系。

文本生成模型

另一方面，文本生成模型是指能够基于某种输入生成文本的模型。

这类模型通常是基于大量文本数据训练的，能够学习语言的结构、语法、甚至风格，然后生成符合人类语言习惯的新文本。

例如，GPT、BaiChuan、ChatGPT等模型就能根据给定的提示或上下文生成连贯、有意义的文本。

举个例子：如果你对文本生成模型说：“写一个关于未来城市的故事”，模型就能够根据其训练数据中学到的语言模式和知识，生成一个独一无二的故事，包含未来城市的描述、人物、情节等元素。

• 词嵌入模型专注于理解单词和短语的含义，通过将它们转换为向量来实现
• 文本生成模型则使用这种理解来创造新的文本内容。

 

---

词嵌入模型 和 文本向量库

词嵌入模型和文本向量库之间存在密切的关系。

词嵌入模型是用于生成文本向量的工具或方法，而文本向量库则是这些向量的存储库或集合。

词嵌入模型

词嵌入模型是一种学习技术，通过这种技术，模型能够将文本中的单词或短语映射到向量空间中的点。

这些向量代表了单词的语义信息，相似的词在向量空间中的距离会更近。

词嵌入模型通过训练过程学习到的是如何将自然语言转换成计算机可以理解的数学表达形式。

文本向量库

文本向量库是指存储了大量单词或短语向量的数据库或集合。

这些向量是使用词嵌入模型从大量文本数据中生成的。

文本向量库可以被后续的NLP任务使用，如文本相似度计算、文本分类、情感分析等，因为它们提供了一种有效的方式来表示和比较文本的语义内容。

关系与例子

词嵌入模型和文本向量库的关系可以通过图书馆和图书的比喻来理解：词嵌入模型就像是一个图书馆中用于分类和整理书籍的系统，而文本向量库则像是按照这个系统整理好的书籍集合。

词嵌入模型定义了如何将文本转化为向量（即如何"整理书籍"），而文本向量库则是这些向量（“书籍”）的集合。

举个具体的例子：

假设你使用了一个词嵌入模型，比如Word2Vec，来处理一个包含大量英文单词的数据集。

通过训练，每个单词都会被映射成一个高维空间中的向量。这些向量随后被存储在一个数据库中，形成了一个文本向量库。

现在，如果有人想要了解两个单词的语义相似度，他们可以简单地查询这个库，比较这两个单词向量之间的距离。

例如，"king"和"queen"的向量会很接近，而"king"和"apple"的向量则相距较远，这反映了它们语义上的近似和差异。

总的来说，词嵌入模型是生成文本向量的方法，而文本向量库是这些向量的实际存储或集合，两者共同支持各种NLP任务的执行。

 

知识图谱规则匹配不准确问题

基于规则的问答系统没有复杂的算法，一般采用模板匹配的方式寻找匹配度最高的答案，回答结果依赖于问句类型、模板语料库的覆盖全面性。

面对已知的问题，可以给出合适的答案。

对于模板匹配不到的问题或问句类型，就找不到。

知识图谱 – 实体命名识别步骤（提取关键字搜索） - 带来的问题：

情况1. 问的糖尿病为什么多饮多尿原因，回答糖尿病原因

情况2. 同一个语义问题，换不同问法，就不能命中

情况3. 如果患者的描述是基于错误的自我诊断，AI会误导

假设病人向AI描述：“我最近总是头晕，可能是血压高了。”

然而，病人实际只是暂时性的晕车感觉，不是高血压。

纯粹基于知识图谱的系统可能会误将“头晕”直接与“高血压”关联，因为知识图谱中有这样的连接。

规则匹配问题不准确，这主要是因为规则系统很难处理大量多样化的自然语言表达和理解语境的细微差别。

文本向量库相似度衡量，实现语义搜索

实现基于知识图谱和文本向量库的语义搜索，并用它解决基于规则匹配的限制：

步骤1：构建知识图谱

• 收集和整理糖尿病相关的结构化数据，包括疾病、症状、治疗、药物等实体，以及它们之间的关系。
• 使用图数据库（如Neo4j）将这些实体和关系存储起来，构建成知识图谱。

步骤2：创建文本向量库

• 从相关的医学文本（如研究论文、临床指南）中提取文本数据。
• 使用预训练的语言模型（如BERT或GPT）将提取的文本转换成向量表示，即文本嵌入。
• 将这些文本向量存储在一个向量搜索库中，如FAISS或Annoy。

步骤3：实现语义搜索

• 当用户提出一个查询，如“糖尿病的常见并发症有哪些？”时，先使用NLP模型解析查询中的关键实体和意图。
• 使用知识图谱来识别与查询相关的实体和可能的关系路径。
• 将用户查询转换成一个或多个向量查询。
• 在文本向量库中执行向量相似性搜索，找到最接近用户查询向量的文本片段。

步骤4：结合结果并响应

• 结合从知识图谱和文本向量库检索到的信息，排列并选择最佳答案。
• 将搜索结果以人类可读的形式返回给用户。

 
假设有一用户问“糖尿病的饮食建议”，系统将如何响应：

1. 查询解析：

   • NLP模型识别出“糖尿病”为疾病实体，而“饮食建议”为用户的查询意图。

2. 知识图谱搜索：

   • 查询知识图谱，找到与“糖尿病”相关的“饮食建议”实体。

3. 文本向量搜索：

   • 将“糖尿病的饮食建议”转化为向量，并在文本向量库中搜索最相似的文本向量。

4. 结果融合：

   • 综合知识图谱和向量搜索结果，选出匹配度最高的答案。

5. 返回答案：

   • 系统返回结构化的饮食建议，并附带从医学文本中找到的相关内容。

通过这个流程，语义搜索系统能够超越简单的关键词匹配，理解查询的深层次意图，并提供具有语境关联的精准答案。

 

使用临床知识图谱和文本向量库模拟医生诊断流程

在设计一个医疗诊断系统中，结合临床知识图谱和文本向量库的优势在于：

• 能够结构化地整合和分析庞大的医学知识，同时深入理解患者描述的语义，从而提供精准、个性化的诊断和治疗建议。

临床知识图谱的优势

• 提供精准的医学知识关联和推理能力，使系统能够基于已有的医学知识发现疾病间的潜在联系，从而提出更为准确的诊断假设。

文本向量库的优势

• 深入理解患者描述的语义，通过将自然语言描述转化为向量形式，捕捉症状、病史等信息的深层含义，支持匹配最相关的医学实体和知识，实现个性化诊断建议。

结合使用时，临床知识图谱为系统提供了一个广泛的、结构化的医疗知识基础，而文本向量库则允许系统理解和处理患者的自然语言输入，二者共同实现了既准确又个性化的医疗诊断支持。

1. 理解任务需求

• 目标：模拟医生的诊断流程，使用临床知识图谱和文本向量库辅助决策。
• 输入：患者的症状描述、医学历史等文本信息。
• 输出：潜在的诊断结果、后续检查或治疗建议。

2. 准备数据

• 收集临床数据：包括症状、疾病、治疗方法等信息。
• 构建文本向量库：使用词嵌入模型处理医学文本，生成症状、疾病等的向量表示。

3. 构建临床知识图谱

• 定义实体和关系：实体包括症状、疾病、检查项目等，关系定义它们之间的联系，如“症状-表现于-疾病”。
• 填充知识图谱：根据临床数据填充图谱，每个实体和关系都对应于知识库中的一项。

4. 应用文本向量库

• 文本相似度分析：使用文本向量库比较患者症状描述与已知疾病症状的相似度。
• 信息检索：基于症状的向量表示，从知识图谱中检索匹配的疾病、检查和治疗方法。

5. 模拟诊断流程

• 初步诊断：根据症状与疾病之间的相似度，提出初步诊断建议。
• 推荐检查：依据知识图谱，推荐进一步的检查来验证初步诊断。
• 治疗建议：根据最终诊断，从知识图谱中提取治疗方案。

6. 实现

• 选择技术栈：确定适合的编程语言（如Python），选择词嵌入（如Word2Vec、BERT）和图数据库（如Neo4j）技术。
• 开发与测试：编写代码实现上述流程，进行测试和调优。

7. 验证和迭代

• 专家验证：让医生或临床专家验证模拟诊断流程的准确性和实用性。
• 用户反馈：收集用户反馈，进行迭代改进。

通过这种方法，你可以构建一个能够模拟医生诊断流程的系统，该系统利用了临床知识图谱和文本向量库的优势，实现了基于丰富临床数据和先进自然语言处理技术的智能诊断支持。

 

糖尿病诊断流程

以糖尿病为例，我们来详细说明如何使用临床知识图谱和文本向量库来模拟医生的诊断流程。

准备阶段

1. 收集数据：整理糖尿病相关的临床数据，包括但不限于症状（如多饮、多尿、体重下降）、检查项目（血糖测定、糖化血红蛋白A1c）、治疗方法（饮食控制、口服降糖药、胰岛素治疗）等。

2. 构建文本向量库：使用文本向量模型（如Word2Vec或BERT）处理关于糖尿病的医学文献、病例报告等，生成症状、检查项目和治疗方法的向量表示。

构建知识图谱

1. 定义实体和关系：

   • 实体包括“症状”（多饮、多尿等）、“检查”（血糖、糖化血红蛋白等）、“疾病”（1型糖尿病、2型糖尿病等）、“治疗”（饮食控制等）。
   • 关系定义了实体之间的联系，如“多饮表现于糖尿病”、“糖尿病可通过血糖测定检查”。

2. 填充知识图谱：根据收集的临床数据，填充每个实体和它们之间的关系。

文本向量库的应用

1. 接收输入：假设患者报告了多饮、多尿和体重下降的症状。
2. 症状相似度分析：使用文本向量库，计算患者描述的症状与糖尿病症状向量之间的相似度。
3. 信息检索：基于相似度分析结果，从知识图谱中检索与这些症状高度相关的疾病、可能需要的检查和推荐的治疗方法。

模拟诊断流程

1. 初步诊断：根据症状相似度高的疾病，系统提出糖尿病的初步诊断。
2. 推荐检查：系统根据知识图谱推荐进行血糖测定和糖化血红蛋白A1c检查，以验证初步诊断。
3. 治疗建议：一旦诊断确认，系统根据患者的具体情况（如疾病类型、血糖水平等），从知识图谱中提取相应的治疗方案，例如饮食控制、口服降糖药或胰岛素治疗。

实现和反馈

• 通过编程语言（如Python）和相应的库（如NLTK或spaCy用于NLP，Neo4j用于图数据库管理）实现上述流程。
• 在实际应用中，医生和患者的反馈对于调整和优化系统至关重要。

词嵌入模型 医学微调

使用未经微调的text2vec模型来处理专业领域的文本，比如医学领域，确实可能会导致向量质量不高，无法准确捕捉到领域内的专业知识和语义细节。

这种情况就像尝试用一张粗略的地图导航一样，虽然大方向可能正确，但细节上的错误和遗漏可能会让你无法达到精确的目的地。

未微调模型问题

假设我们有一段文本描述：“糖尿病患者经常会经历多饮、多尿和体重下降等症状。长期高血糖可能导致心脏病、肾病和视网膜病变等并发症。”

在这个例子中：

• 未微调的模型：可能只能识别出“糖尿病”、“患者”、“症状”等通用词汇，并将其映射到相对通用的向量上。

  这些向量可能无法准确反映“多饮”、“多尿”与糖尿病之间的直接关联，以及糖尿病和各种并发症之间的复杂关系。

• 结果：当这些文本被转化为向量并用于检索、分类或其他NLP任务时，模型可能无法准确识别出文本中的关键医学信息，比如症状与特定疾病之间的关联，或者特定疾病的典型并发症。

  这就像是“快递地址写错”，导致无法精准“派送”（检索到正确的信息或做出准确的推断）。

微调模型的优势

微调后的模型，能够更深入地理解医学专业术语和概念之间的复杂关系。

在上述例子中，微调模型不仅能识别出“糖尿病”这一术语，还能理解“多饮”、“多尿”是糖尿病的典型症状，以及高血糖与心脏病、肾病等并发症之间的关系。

这样的模型能够生成更加精准和丰富的向量表示，从而提高医疗NLP任务的准确性和效率。

text2vec 医学微调

先注册一个阿里云账号，然后在权益中心->免费试用->人工智能与机器学习->选GPU（A10、V100）-> 进入 DSW。

这样就能免费用 3 个月 GPU 了。

开始微调文本向量库，变成医学文本向量库。

# 安装 `uniem` 库
!pip install uniem

# 导入必要的库
from datasets import load_dataset
from transformers import AutoTokenizer, AutoModelForSequenceClassification, TrainingArguments, Trainer

# 加载数据集并重命名列，以适应模型的输入格式
dataset = load_dataset('vegaviazhang/Med_QQpairs')['train']
dataset = dataset.rename_columns({'question1': 'sentence1', 'question2': 'sentence2'})

# 手动划分训练集和验证集，测试集比例为10%
dataset = dataset.train_test_split(test_size=0.1, seed=42)
train_dataset = dataset['train']
eval_dataset = dataset['test']  # 使用'test'分割作为验证集

# 加载预训练模型和分词器，这里使用的是moka-ai/m3e-small模型
model_name = 'moka-ai/m3e-small'
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForSequenceClassification.from_pretrained(model_name, num_labels=2)  # 二分类任务

# 定义数据预处理函数，对数据集中的句子进行分词处理
def preprocess_function(examples):
    return tokenizer(examples['sentence1'], examples['sentence2'], truncation=True)

# 对训练集和验证集应用预处理函数
train_dataset = train_dataset.map(preprocess_function, batched=True)
eval_dataset = eval_dataset.map(preprocess_function, batched=True)

# 设置训练参数，包括输出目录、评估策略、学习率等
training_args = TrainingArguments(
    output_dir="./results",  # 模型和训练日志的输出目录
    evaluation_strategy="epoch",  # 每轮结束时进行评估
    learning_rate=2e-5,  # 学习率
    per_device_train_batch_size=8,  # 每个设备的训练批次大小
    per_device_eval_batch_size=8,  # 每个设备的评估批次大小
    num_train_epochs=3,  # 训练轮数
    weight_decay=0.01,  # 权重衰减，用于防止过拟合
)

# 初始化Trainer，用于训练和评估模型
trainer = Trainer(
    model=model,  # 使用的模型
    args=training_args,  # 训练参数
    train_dataset=train_dataset,  # 训练数据集
    eval_dataset=eval_dataset,  # 验证数据集
)

# 执行训练过程
trainer.train()

报错：ConnectionError: Couldn’t reach ‘vegaviazhang/Med_QQpairs’ on the Hub (ConnectionError)

阿里云被墙了，访问不了 Hugging Face 数据。

打客服电话问一下，咋解决。