【2022】CLINER：临床询问命名实体识别。

最新推荐文章于 2024-09-30 14:16:32 发布

啊我有兔子牙

最新推荐文章于 2024-09-30 14:16:32 发布

阅读量922

点赞数 23

文章标签：人工智能自然语言处理

本文链接：https://blog.csdn.net/kakaxiii/article/details/142091931

版权

资源搜索：

CLINER: Clinical Interrogation Named Entity Recognition

J Ren, T Cao, Y Yang, Y Zhang, X Chen, T Feng, B Chang, Z Sui, R Zhao, Y Zheng, B Liu

International Conference on Knowledge Science, Engineering and Management, 2022•Springer

1.总结

研究背景：
- 电子病历（EMR）在现代医疗保健信息系统中至关重要，但医生手动创建 EMR 耗时耗力，自动将医患对话转换为 EMR 成为新兴领域，核心问题是如何从医疗对话中准确提取医疗实体及其状态。
- 现有研究专注于在轮级上下文提取医疗信息，忽略了实体信息的全局一致性和状态，而实体状态对自动生成 EMR 至关重要。
  - 在文档中，MIE（Medical Information Extraction）即医疗信息提取，NER（Named Entity Recognition）即命名实体识别。
    
    1.医疗信息提取（MIE）
    
    医疗信息提取是从临床问询对话等文本中识别和提取出与医疗相关的特定信息。例如在医患对话中，提取出患者的症状、病史、检查结果等信息。
    
    比如在下面这个医患对话中：
    医生：“你最近有什么不舒服吗？”
    患者：“我这几天一直头疼，还发烧了。”
    MIE 的任务可能就是提取出 “头疼” 和 “发烧” 这两个症状信息。
    
    2.命名实体识别（NER）
    
    命名实体识别是在文本中识别出特定类型的实体，并标注其类型。在医疗领域，NER 主要是识别出医疗实体，如疾病名称、症状、药物名称等，并确定其在文本中的位置（起始和结束位置）。
    
    例如在这个句子中：“患者服用了阿莫西林后，过敏症状有所缓解。”NER 的任务就是识别出 “阿莫西林” 这个药物实体以及 “过敏症状” 这个症状实体，并确定它们在句子中的具体位置。
    
    在 CLINER 模型中，MIE 和 NER 任务联合进行，共同从临床问询对话中准确地识别出医疗实体及其状态等信息，为自动生成电子病历等应用提供支持。
相关工作：
- 命名实体识别（NER）在自然语言处理中是一个研究较多的领域，在医疗 NER 方面，早期尝试应用条件随机场（CRF）结合预定义特征，近期工作通过引入预训练模型从文献中提取医疗实体。
- 从医疗对话文本中提取信息的研究刚兴起，现有工作大多只提取症状，且存在数据集限制或状态更新机制不合理等问题。
数据集和标注：
- 标注并发布了一个用于临床问询命名实体识别（CLINER）的在线临床对话 NER 数据集，包含 72 种临床项目类型和 3 种状态。
- 数据集来源于中国在线健康社区，包括 5074 个临床问询文本对话、11169 个 NER 标签和 9771 个 MIE 标签，考虑了实体状态随临床问询的变化。
- 邀请有医学背景的外包人员参与数据集构建，交叉标注并根据整个对话为每个实体分配预定义标签。
提出的方法：
- 提出 CLINER 模型，用于从问询对话中识别命名实体，包含窗口编码器、细粒度对话感知聚合模块、标签感知融合模块、粗粒度全局上下文聚合模块和预测器模块。
- 模型利用多级别上下文信息，采用两阶段预测方式，先判断窗口是否包含特定类型实体，再确定实体跨度的起始和结束位置。
- MIE 和 NER 任务共享模型参数，联合训练，优化交叉熵损失函数。
  - 【MIE（Medical Information Extraction，医疗信息提取）和 NER（Named Entity Recognition，命名实体识别）任务联合进行具有以下优点：
  - 更全面的信息获取：MIE 任务主要关注从文本中提取各种医疗相关的信息，而 NER 任务专注于识别特定类型的实体及其位置。联合进行这两个任务可以更全面地获取医疗文本中的信息，不仅包括实体的识别，还能涵盖更广泛的医疗相关内容的提取。
  - 提高实体识别的准确性：NER 任务可以帮助准确地识别出医疗实体，而 MIE 任务可以提供更多的上下文信息，有助于更准确地判断实体的状态和含义。例如，在某些情况下，仅仅通过 NER 识别出实体可能无法确定其具体的状态或与其他信息的关联，而结合 MIE 任务可以利用更多的上下文线索来提高实体识别的准确性。
  - 更好地支持医疗决策：医疗领域中，准确的医疗信息对于医生做出决策至关重要。联合进行 MIE 和 NER 任务可以提供更丰富、准确的医疗信息，帮助医生更好地了解患者的病情、症状、诊断等情况，从而更有效地进行医疗决策。
  - 增强模型的性能和泛化能力：通过联合训练 MIE 和 NER 任务，可以使模型学习到不同任务之间的关联和互补信息，从而提高模型的整体性能和泛化能力。模型可以更好地适应不同类型的医疗文本和场景，提高在实际应用中的效果。
  - 满足电子病历生成等应用的需求：自动生成电子病历等应用需要全面、准确的医疗信息。MIE 和 NER 任务联合进行可以更好地满足这些应用的需求，为电子病历的生成提供更可靠的数据基础。
  - 例如，在一个医患对话中，MIE 任务可以提取出患者的症状、病史等信息，NER 任务可以准确识别出其中的疾病名称、药物名称等实体。通过联合进行这两个任务，可以更准确地理解对话的内容，为医生提供更有价值的信息，帮助他们做出更准确的诊断和治疗决策。
    】
实验：
- 在 NER 和 MIE 任务上进行实验，与传统序列标注模型和现有先进 NER 方法进行比较，使用精确率、召回率和 F1 分数进行评估。
- 实验结果表明，CLINER - BERT 在 NER 任务上取得了最好的结果，F1 分数为 51.85%；在 MIE 任务上，CLINER - BERT 也达到了最先进的结果，在类别级别和类别与状态级别评估中的 F1 分数分别为 88.95% 和 63.97%。
- 通过消融实验分析了模型不同组件的有效性，案例研究展示了模型对实体状态预测的改进效果。
结论：
- 构建了临床问询 NER 数据集并提出有效模型 CLINER，通过充分利用当前窗口后续相关上下文更好地捕捉实体状态的更新。
- 实验表明 CLINER 模型在 NER 和 MIE 任务中均能有效提升性能并优于基线模型，为基于临床问询的自动 EMR 生成提供了有前景的解决方案。
- 未来计划进一步利用标签之间的内部关系并将医学领域知识融入模型。

2.分析

CLINER（Clinical Interrogation Named Entity Recognition）模型是一种用于临床问询命名实体识别的端到端模型，其主要目的是从医患对话中准确识别医疗实体及其状态。该模型的框架包含以下五个组件：

在训练过程中，MIE 和 NER 任务联合训练，优化交叉熵损失函数。总的来说，CLINER 模型通过整合多级别上下文信息，能够更好地识别医疗实体及其状态，从而提高临床问询命名实体识别的性能。

【以下是用简单语言和例子解释 CLINER 模型的五个模块：

1.窗口编码器

想象你正在看一部电视剧，每两集电视剧可以看作一个 “窗口”。窗口编码器就像是一个理解电视剧剧情的人，它把这两集电视剧的内容转化成一种它能理解的形式。

比如在医患对话中，医生和患者的连续两次发言组成一个窗口。窗口编码器把这些发言的文字转化成数字形式的表示，这样模型就能处理这些信息了。比如医生说 “你哪里不舒服？”，患者说 “我头疼。” 窗口编码器会把这些话转化成一组数字向量。

2.细粒度对话感知聚合模块

假设你在和一群朋友聊天，你想知道大家对某个话题的看法。你会回忆起之前每个人说过的话，然后综合考虑这些信息来理解当前的讨论。这个模块就像这样。

在 CLINER 模型中，这个模块会记住对话中所有出现过的相同的词（或类似的信息）。比如对话中多次提到 “头疼” 这个症状，这个模块会把这些关于 “头疼” 的信息收集起来。当再次遇到 “头疼” 这个词时，它会结合之前收集到的信息来更好地理解当前这个 “头疼” 在整个对话中的意义。

3.标签感知融合模块

想象你在整理书架，你有不同的标签，比如 “小说”“传记”“科普” 等。当你拿起一本书时，你会根据这本书的特点判断它属于哪个标签。

在 CLINER 模型中，这个模块会把当前窗口的信息和各种可能的医疗实体标签进行比较。比如有 “发烧”“咳嗽”“头疼” 等标签，这个模块会判断当前窗口的对话内容中是否存在这些医疗实体，如果存在，就确定这个窗口中具体的医疗实体是什么。

4.粗粒度全局上下文聚合模块

假设你在听一个故事，你不仅要理解当前听到的部分，还要考虑后面的情节才能更好地理解当前的情况。

在 CLINER 模型中，这个模块会考虑当前窗口之后的对话信息。比如当前窗口中提到了一些症状，但可能后面的对话会进一步说明这些症状的严重程度或者出现了新的症状。这个模块会结合后面的信息来更准确地确定当前窗口中医疗实体的状态。

】

创新点：

提出新的模型 CLINER：
- 设计了一个专门用于临床问询命名实体识别的模型，该模型整合了窗口编码器、细粒度对话感知聚合模块、标签感知融合模块、粗粒度全局上下文聚合模块和预测器模块等多个组件，能够充分利用多级别上下文信息，准确识别医疗实体及其状态。
- 采用两阶段预测方式，先判断窗口是否包含特定类型实体，再确定实体跨度的起始和结束位置，提高了命名实体识别的准确性和效率。
创新的信息聚合方式：
- 细粒度对话感知聚合模块通过键值记忆网络为每个 token 定义记忆集，存储对话中所有相同 token 的信息，并利用注意力机制整合对话感知表示，使模型能够更好地捕捉实体在整个对话中的变化和上下文信息。
- 粗粒度全局上下文聚合模块使用动态注意力机制，考虑当前窗口与后续窗口的交互，结合最具信息性的后续窗口嵌入作为全局上下文嵌入，进一步提高了模型对实体状态的预测能力。
联合训练 MIE 和 NER 任务：
- MIE（Medical Information Extraction）和 NER（Named Entity Recognition）任务通常是分开进行的，但该论文将这两个任务联合训练，优化交叉熵损失函数。这种联合训练方式可以使模型学习到不同任务之间的关联和互补信息，提高模型的整体性能和泛化能力。