每天读一篇文献8--Contextualized Medication Information Extraction Using Transformer-based Deep Learning Arc

最新推荐文章于 2024-09-14 19:18:15 发布

没咋了

最新推荐文章于 2024-09-14 19:18:15 发布

阅读量203

点赞数 1

文章标签：深度学习 transformer 机器学习

本文链接：https://blog.csdn.net/m0_53371353/article/details/129628083

版权

ABSTRACT

开发一个自然语言处理( NLP )系统，用于提取助于理解药物变化的药物和上下文信息。探索了6个最先进的预训练Transformer模型，其中包括使用> 900亿字的文本(包括佛罗里达卫生大学鉴定的超过2.9亿份临床笔记中的> 800亿字)预训练的大型语言模型GatorTron。我们使用2022 n2c2组织者提供的注释数据和评估脚本来评估我们的NLP系统。

This study demonstrated the advantage of using large transformer models for contextual medication information extraction from clinical narratives.

预处理

重复使用之前研究中开发的预处理管道来执行标记化、句子边界检测和" BIO "格式转换。由于不同的Transformer模型应用不同的分词算法，我们的预处理模块根据Transformer模型动态应用分词算法，将词级别的" BIO "标签对齐到子令牌级别的" BIO "标签。

药物抽取

将药物抽取作为命名实体识别( NER )任务，并应用基于Transformer的深度学习方法。我们采用标准的" BIO "格式来表示用药概念。然后，使用基于Transformer的深度学习模型将单词分类为3类标签( B、I或O)。使用预训练的Transformer模型生成分布式表示，并使用分类层(具有softmax激活的线性层)计算每个" BIO "类别的概率得分。采用交叉熵损失进行优化。

Event and context classification

将事件和情境化的用药信息作为文本分类任务，开发了基于Transformer的分类器。

识别包含药物的句子，并应用预训练的Transformer模型生成句子级表示(例如BERT中的[ CLS ]标记)和概念级表示(例如BERT中的[ S ]和[ E ]令牌)。输入句子最大长度为256个令牌。包含256个以上标记的句子被截断。

将句子级表示和概念级表示串联成一个分类层，分别计算处置和非处置两个类别的概率。采用交叉熵损失进行微调。对于情境分类，将"处置"组的药物进一步分为5个正交维度：动作(开始,停止)，否定(被否定,未被否定)，时间性(过去、现在)，确定性(假设的、条件的)，行动者(患者、医师)。

我们为每个维度训练个体分类器，并使用后处理对结果进行聚合。

Transformer-based machine learning models

从通用英文域探索了2个预训练的Transformer模型，包括Roberta 和 ALBERT；4个来自临床领域的预训练Transformer，包括Roberta_MIMIC, ALBERT_MIMIC, GatorTron, and GatorTronS。由于GatorTron和GatorTronS都是使用相同的基于BERT的架构实现的，并且使用了更大的语料库进行预训练，因此我们没有包括原始的BERT模型。之前的研究表明GatorTron在药物提取方面优于BioBERT和ClinicalBERT基于BERT的转换器。

ALBERT and ALBERT_MIMIC

Lite BERT ( ALBERT )用于语言表示的自监督学习。与原始BERT模型相比，ALBERT adopted factorized embedding parameterization and cross-layered parameter sharing with the self-supervised loss for sentence-order prediction。我们采用Huggedface中实现的ALBERT模型，参数为128M。

RoBERTa and RoBERTa_MIMIC

RoBERTa is an optimized BERT model. RoBERTa introduced new strategies including dynamic masking, full sentence sampling, large mini-batches, large byte level encoding, and removed next sentence prediction loss. RoBERTa MIMIC utilized the same optimization of RoBERTa but trained over the MIMIC data set. We explored the RoBERTa model implemented in the Huggingface with 355M parameters.

GatorTron and GatorTronS GatorTron is a BERT-style LLM

GatorTron is a BERT-style LLM pretrained using >90 billion words of text.GatorTronS is also a BERT-style LLM pretrained using >20 billion words of synthetic clinical text generated using a GPT-3 model, GatorTronGPT. We used the version with 345 million parameters for both GatorTron and GatorTronS.

Training strategies

对于药物提取，我们遵循标准的NER训练过程，使用该挑战中提供的训练集和验证集来微调转换器模型以识别中介。我们使用350个笔记的训练集来训练模型，使用50个笔记的验证集来监控性能。对于每个Transformer模型，提交了基于验证性能的最佳模型。对于事件和上下文分类，我们遵循类似的步骤，使用训练集和验证集微调转换器模型进行分类。根据验证结果提交最佳分类模型。

The end-to-end syste

端到端系统我们将药物提取、事件分类和上下文分类整合为一个统一的pipeline，用于端到端任务。根据验证性能选择最佳模型提交。

DISCUSSION AND CONCLUSION

对于药物提取，我们的GatorTron模型取得了最佳的F1值为0.9828，表明了基于变压器的LLMs的效率。在6个Transformer模型中，使用临床文本预训练的模型优于使用通用英语文本(RoBERTa and ALBERT) 预训练的模型，即特定领域的临床Transformer在临床概念抽取上优于通用Transformer模型。
在clinical transformers中，使用超过900亿字的文本训练的GatorTron模型取得了最好的成绩，优于使用更小的临床语料库预训练的其他 clinical transformers 。GatorTron模型主要在召回率上提高了药物抽取的性能，表明LLMs从更大的语料库中捕获了新的文档模式。即数据规模的扩大改善了各种临床NLP任务。