基于RoBERTa-wwm动态融合模型的中文电子病历命名实体识别

最新推荐文章于 2023-07-13 10:00:19 发布
最新推荐文章于 2023-07-13 10:00:19 发布
阅读量1k 收藏 2
点赞数 1
分类专栏： 信息技术控制系统和理论专栏 文章标签： 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_70923796/article/details/126006733
版权
本文提出了一种基于RoBERTa-wwm动态融合的实体识别模型，用于提高中文电子病历的命名实体识别效果。通过动态融合RoBERTa-wwm各Transformer层的语义表示，结合BiLSTM和CRF，模型在CCKS2017和自主标注数据集上的F1值分别提升了0.23%和0.39%。
摘要由CSDN通过智能技术生成

摘要

【目的】 提出基于RoBERTa-wwm动态融合的实体识别模型,提高中文电子病历实体识别效果。【方法】 将预训练语言模型RoBERTa-wwm各Transformer层生成的语义表示进行动态融合后,输入双向长短时记忆网络和条件随机场模块完成电子病历中的实体识别。【结果】 在“2017全国知

了解本专栏 订阅专栏 解锁全文 超级会员免费看
米朵儿技术屋
关注
  • 1
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 1
    评论
专栏目录
订阅专栏
Roberta-wwm-ext-large模型中的wwm理解
ningyanggege的博客
01-12 4869
Roberta：Robust optimize bert approach（名字来自于一篇论文题目的缩写） wwm：whole word masking的缩写；经典的bert作mask是随机的，且是基于WordPiece token之上的，没有约束条件。 而wwm是将一个单词分成多个word piece后，mask其中一个，那么整个word必须全部被mask，换句话说，mask的最小单位是整个word，而原来是word piece(part of 整个word) 案例： [OriginalSente
BERT-wwm、RoBERTa-wwm、SpanBERT、ERNIE2
weixin_43643246的博客
03-01 2431
BERT-wwm、RoBERTa、SpanBERT、ERNIE2 BERT-wwm/RoBERTa-wwm wwm是Whole Word Masking（对全词进行Mask）。简单来说，原有基于WordPiece的分词方式会把一个完整的词切分成若干个子词，在生成训练样本时，这些被分开的子词会随机被mask。 在全词Mask中，如果一个完整的词的部分WordPiece子词被mask，则同属该词的其他...
几种预训练模型：bert-wwm,RoBERTa,RoBERTa-wwm
谁怕平生太急
12-23 8710
bert-large：24层，330M参数 bert-base：12层，110M参数 1.bert-wwm wwm即whole word masking（对全词进行mask），谷歌2019年5月31日发布，对bert的升级，主要更改了原预训练阶段的训练样本生成策略。改进：用mask标签替换一个完整的词而不是字。 2.bert-wwm-ext bert-wwm的升级版，改进：增加了训练数据集同时也增加了训练步数。 3.RoBERTa 相对于Bert的改进：更多的数据、更多的训练步数、更大的批次(8000)，用
广告行业中那些趣事系列18：RoBERTa-wwm-ext模型为啥能带来线上效果提升？
abc50319的专栏
08-09 2742
本篇一共5840个字摘要：本篇主要分享能带来线上文本分类效果有效提升的RoBERTa-wwm-ext模型。首先介绍背景，RoBERTa-wwm-ext模型不管在公共数据集上还是在我们线上...
基于Roberta进行微博情感分析
热门推荐
dipizhong7224的博客
02-23 2万+
概览： 情感分析是NLP中一大分支，本文尝试使用预训练模型（Roberta-wwm-ext）对微博通用数据进行情感分类，共六种类别（积极、愤怒、悲伤、恐惧、惊奇、无情绪）。数据来源：SMP2020微博情绪分类评测 该评测任务中涉及通用数据和疫情数据，本文只使用通用数据。 本文着重展示利用预训练模型在torch环境下进行情感分析的pipeline，弱化提升模型本身精度的探索。 数据介绍： 训练集：27,768条；测试集：5,000条 下载链接提取码：q2f8 数据格式如下图：id是编号；co..
基于RoBERTa-wwm动态融合模型的中文电子病历命名实体识别.docx
06-24
基于RoBERTa-wwm动态融合模型的中文电子病历命名实体识别 本文主要介绍了基于RoBERTa-wwm动态融合模型的中文电子病历命名实体识别技术。该技术通过结合预训练语言模型RoBERTa-wwm和双向长短时记忆网络（BiLSTM）来...
chinese-roberta-wwm-ext.rar
02-07
4. 微调与应用：对于特定的NLP任务，如情感分析、命名实体识别、机器翻译等，可以将预训练的Chinese RoBERTa-wwm-ext模型微调至特定任务，提高模型在特定领域的性能。 四、总结 Chinese RoBERTa-wwm-ext模型在...
中文指代消解：基于HFL的预训练模型chinese-roberta-wwm-ext，训练评测CLUE WSC2020数据集
最新发布
01-07
预训练模型在近年来已经成为解决这个问题的有效工具，其中`chinese-roberta-wwm-ext`是一款专门针对中文的预训练模型，基于HFL（哈工大飞桨）框架构建，它在广泛词汇遮蔽（Whole Word Masking，WWM）策略上进行了...
Chinese-BERT-wwm：汉语BERT的全字掩蔽预训练（EnglishBERT-wwm系列模型）
02-03
为了进一步促进中文信息处理的研究发展，我们发布了基于全词遮罩（Whole Word Masking）技术的中文预训练模型BERT-wwm，以及更多技术相关的模型：BERT-wwm-ext，RoBERTa-wwm-ext，RoBERTa-wwm-ext-large，RBT3，RBTL...
基于python的中文预训练RoBERTa模型型
03-21
在实际应用中，我们可能会遇到的问题是如何将RoBERTa模型应用于下游任务，比如文本分类、命名实体识别或情感分析。这通常涉及到模型的微调。微调是指在预训练模型的基础上，针对特定任务添加额外的层（如全连接层）...
CLUENER2020:BiLSTM \ BERT \ Roberta（+ CRF）模型的PyTorch实现，用于命名实体识别
05-25
Chinese NER Project 本项目为CLUENER2020任务baseline的代码实现，模型包括 BiLSTM-CRF BERT-base + X (softmax/CRF/BiLSTM+CRF) Roberta + X (softmax/CRF/BiLSTM+CRF) 本项目BERT-base-X部分的代码编写思路参考 。 项目说明参考知乎文章： Dataset 实验数据来自。这是一个中文细粒度命名实体识别数据集，是基于清华大学开源的文本分类数据集THUCNEWS，选出部分数据进行细粒度标注得到的。该数据集的训练集、验证集和测试集的大小分别为10748，1343，1345，平均句子长度37.4字，最长50字。由于测试集不直接提供，考虑到leaderboard上提交次数有限，本项目使用CLUENER2020的验证集作为模型表现评判的测试集。 CLUENER2020共有10个
bert-wwm.pdf
05-12
哈工大联合迅飞实验室推出的中文bert全遮挡论文。本文档为英文版，仅供学习参考使用，不做其它用图，大家可以自行下载。
nlp-with-transformers系列-04_多语言命名实体识别
yanqianglifei的专栏
03-17 1994
到目前为止，在本书中我们已经应用了Transformers来解决英语语料的NLP任务，但如果你的文件是用希腊语、斯瓦希里语或克林贡语写的，你该怎么办？ 一种方法是在Hugging Face Hub上搜索合适的预训练语言模型，并在手头的任务上对其进行微调。 然而，这些预训练的模型往往只存在于像德语、俄语或普通话这样的 "高资源 "语言，这些语言有大量的网络文本可供预训练。 当你的语料库是多语言的时候，另一个常见的挑战出现了。 在产品化环境中维护多个单语模型对你和你的工程团队来说不会有任何乐趣。 幸运的是，有一
BERT系列算法解读:（RoBERTa/ALBERT/DistilBERT/Transformer/Hugging Face/NLP/预训练模型/模型蒸馏）
机器学习与软件工程
07-13 1058
BERT系列算法解读（RoBERTa/ALBERT/DistilBERT/Transformer/Hugging Face/NLP/预训练模型）
哈工大中文信息处理_哈工大讯飞联合实验室发布中文XLNet预训练模型
weixin_39685762的博客
12-15 607
为了进一步促进中文信息处理发展，哈工大讯飞联合实验室(HFL)发布在大规模语料上训练的首个中文XLNet预训练模型，填补了该模型在中文自然语言处理领域的空白，同时该预训练模型在中文机器阅读理解等任务中获得显著性能提升。我们欢迎各界同行下载使用并共同参与建设中文资源。下载地址：https://github.com/ymcui/Chinese-PreTrained-XLNet摘要哈工大讯飞联...
【数据挖掘竞赛】——汽车领域多语种迁移学习挑战赛（科大讯飞）
lingxw的博客
07-21 1691
国内车企为提升产品竞争力、更好走向海外市场，提出了海外市场智能交互的需求。但世界各国在“数据安全”上有着严格法律约束，要做好海外智能化交互，本土企业面临的最大挑战是数据缺少。本赛题要求选手通过NLP相关人工智能算法来实现汽车领域多语种迁移学习。.........
NLP实战：面向中文电子病历的命名实体识别
LW的技术小筑
05-10 8411
一.前言 本篇文章是关于NLP中的中文命名实体识别（Named Entity Recognition，NER）的实战项目，该项目利用了大型预训练语言模型BERT和BiLSTM神经网络结构来进行NER任务，文章详细介绍了NER的概念、数据集的预处理、模型的设计与实现。话不多说，直接上干货。 二.命名实体识别基础 2.1 什么是命名实体识别？ 命名实体识别旨在抽取非结构化文本中的命名实体（文本中具有特定意义的实体），例如人名、地名、组织名。NER是众多NLP应用的基础，包括知识图谱、信息检索、文本理解等等。 说
Roberta学习笔记
m0_72410588的博客
05-08 512
Roberta作为目前最为先进的语言模型之一，在自然语言处理领域中有着广泛的应用。本篇博客对Roberta的原理、实现和应用进行了简单的讲解，希望能对大家在相关领域的研究和实践有所帮助。
用Roberta-wwm-ext模型进行情感识别
06-11
使用Roberta-wwm-ext模型进行情感识别可以分为以下几个步骤： 1. 数据准备：准备标注好的情感分类数据集，将其分为训练集、验证集和测试集。 2. 模型训练：使用Roberta-wwm-ext模型在训练集上进行预训练，可以采用...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

米朵儿技术屋

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值