tensorflow实现给bert-crf不同层设置不同的学习率

最新推荐文章于 2023-10-28 15:16:06 发布
最新推荐文章于 2023-10-28 15:16:06 发布
阅读量2.5k 收藏 2
点赞数 3
分类专栏： 机器学习 自然语言处理 tensorflow 文章标签： tensorflow python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/momaojia/article/details/104954157
版权

    前段时间看了苏神的文章，关于CRF层可能存在学习不充分问题，文章地址：https://kexue.fm/archives/7196，简而言之就是bert拟合能力太强，可以迅速的学习出字的标签分布，但是CRF部分和BERT没什么关系，前面的字标签已经学习的很好了，导致转移的矩阵的梯度会非常小。想到本人前段时间正好做的实体识别任务，有时候会存在标签乱序的现象，故把以前的代码CRF层中加入不同的学习率，实验结果确实是可以改善标签乱序现象。

本文主要是实验下如何在tensorflow中给不同的层设置不同的学习率，任务是bert+CRF实体识别https://github.com/lplping/Chinese-NER-

momaojia
关注
  • 3
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
BERT-BiLSTM-CRF-NER:NER任务的Tensorflow解决方案将BiLSTM-CRF模型与Google BERT微调和私有服务器服务结合使用
05-09
BERT-BiLSTM-CRF-NER Tensorflow solution of NER task Using BiLSTM-CRF model with Google BERT Fine-tuning 使用谷歌的BERT模型在BLSTM-CRF模型上进行预训练用于中文命名实体识别的Tensorflow代码' 中文文档请查看 如果对您有帮助，麻烦点个star,谢谢~~ Welcome to star this repository! The Chinese training data($PATH/NERdata/) come from: The CoNLL-2003 data($PATH/NERdata/ori/) come from: The evaluation codes come from: Try to implement NER work based on google'
bert 和crf设置不同学习率（pytorch）
消极的人永远是对的，积极的人选择勇往直前
02-10 1226
bert 和crf设置不同学习率（pytorch）
学习笔记-Bert及其变体调参经验
weixin_44358484的博客
05-23 6211
Bert调参： 1、bert的微调可以将参数设置为： bach size ：设置为16或者32 learning rate（Adam）：5e-5、3e-5、2e-5（比较小的学习率） num of epochs：2，3，4 2、Bert的微调比较容易，可以设置验证集，进行一定范围的Grid Search 3、可以在Bert后面接一些层，比如CRF层、Linear层、BiLSTM层 4、为了确保后接层学习的好，可以对后接层设置额外的、较大的学习率 Bert变体 RoBERTa: RoBE
pytorch不同的层设置不同学习率
SCU-JJkinging的博客
07-12 686
问题背景：不同的层设置不同的学习率 model = BiLSTM_CRF() # 整个模型（包括BiLSTM和CRF） 我们现在要做的就是给BiLSTM和CRF分别设置不同的学习率 解决方法： crf_params = list(map(id, model.CRF.parameters())) #把CRF层的参数映射为id other_params = filter(lambda x: id(x) not in crf_params, model.parameters()) #在整个模型的参数中将CRF
BERT+CRF实现中文命名实体识别（TensorFlow）
Q_M_X_D_D_的博客
06-26 1万+
本篇解读了基于BERT+CRF做中文NER这篇文章中的代码，在该篇作者的GitHub上可以下载源码：源代码。这段代码对BERT模型的实现较为简洁，删掉了谷歌源代码中我们可能用不到的部分，保留了核心部分。对于那些想要快速上手BERT的同学是非常好的学习机会，在看懂这个之后再去学习谷歌的源代码会更加轻松。 BERT-CRF模型 之前有写过BERT模型和CRF模型的详解，建议往下看之前一定要了解这两个模型的原理：结合原理和代码来理解bert模型、结合原理与代码理解BiLSTM-CRF模型（pytorch）。B
中文NER任务简析与深度算法模型总结和实战展示
HUSTHY的博客
11-08 7532
一、中文NER原理简析 主要简单描述一下，什么是NER，NER原理 二、算法模型总结 主流算法和模型总结，以及一些论文的分享 三、NER实战 针对一些具体的算法和模型进行实战，总结在实战中遇到的坑和简单的技巧 ...
TensorFlow Serving部署Bert-BiLSTM+CRF（NER）模型并提供服务
gy87900311的博客
04-08 4469
命名实体识别项目参考：https://github.com/macanv/BERT-BiLSTM-CRF-NER 和https://github.com/yumath/bertNER 特此感谢上述两个项目的贡献者！ 项目上只说了如何去训练的，但是使用TensorFlow Serving进行部署，翻遍全网没有找到合适的资料，遂自己分析模型，按照模型的架构分析输入输出然后导出。 此模型的导出比较耗时，...
基于torch框架的bert+bilstm+crf的实体识别实战
最新发布
IT大头的博客
10-28 966
在这里，我们定义了一个标记化函数，用于将原始文本和标签转换为标记化的文本和标签序列。我们还定义了一个填充函数，用于对序列进行填充，以便它们可以被批处理。在这里，我们使用了BERT模型和BiLSTM层来提取句子的特征，然后通过全连接层将其映射到标签空间，并使用CRF层来对标签序列进行建模。在这里，我们使用Adam优化器和交叉熵损失函数来训练模型。然后，我们使用测试集来评估模型的性能，并使用模型来预测一些新句子中的实体。在这里，我们加载了一个包含训练数据的文件，并将其转换为模型所需的格式。
BERT-CRF-for-Chinese-NER:使用BERT + CRF模型执行中文NER任务
05-11
BERT-CRF-for-Chinese-NER Using BERT+CRF model to do Chinese NER task 如何运行 链接: 密码: 0qtc 请从网盘链接下载bert-chinese预训练模型，放在chinese-bert文件夹下 直接python run_ner.py即可
BERT-BILSTM-GCN-CRF-for-NER:在原本BERT-BILSTM-CRF上融合GCN和词性标签等做NER任务
03-09
NER的BERT-BILSTM-GCN-CRF在原本BERT-BILSTM-CRF上融合GCN和词性标签等做NER任务数据格式高B-剧种B-名词腔I-剧种I-名词：OO马B-人名B-名词平I-人名I-名词所OO着O B动词扶O B动词贫O I动词小O B -名词I O-名词运行
基于BERT-BiLSTM-CRF模型的中文实体识别
05-06
为解决该问题, 本文提出了一种基于BERT-BiLSTM-CRF模型的研究方法. 首先通过BERT模型预处理生成基于上下文信息的词向量, 其次将训练出来的词向量输入BiLSTM-CRF模型做进一步训练处理. 实验结果表明, 该模型在MSRA...
KBQA-BERT-CRF:基于知识图谱的问答系统
03-11
KBQA-BERT 基于知识图谱的问答系统，BERT做命名实体识别和句子相似度 介绍 本项目主要由两个重要的点组成，一是基于BERT的命名实体识别，二是基于BERT的句子相似度计算，本项目将这两个模块进行融合，构建基于BERT的...
使用Bert_BiLSTM_CRF进行实体或事件序列标注、获取微调后的Bert词向量
weixin_44305190的博客
09-02 5101
序列标注任务 现在很多自然语言处理的任务都被视为基于神经网络的序列标注任务，如实体识别和事件抽取这两个信息抽取中的子任务，序列标注任务就是通过训练和基于概率对文本的每一个字符打上对应的标签，我们就可以对我们想要识别出的文本部分打上特定的标签，可以看成一种编码和解码，自然语言处理的任务跟通信模型非常类似，很多模型都是对文本进行编码之后再解码就能得到对应结果。 本文介绍的是基本的Bert_BiLSTM_CRF的序列标注，其中的Bert是预训练语言模型，主要用来获取文本对应的向量，Bert是在大规模的文本语料上训
基于tensorflow2.0实现BiLSTM-CRF，调用tensorflow-addons CRF层失败 # from crf import CRF
qq_34373543的博客
11-18 2643
基于tensorflow2.0实现BiLSTM-CRF，调用tensorflow-addons CRF层失败 # from crf import CRF from tensorflow_addons.layers.crf import CRF import tensorflow as tf from tensorflow.keras.models import Sequential maxLen = 10 vocabSize = 20 model=Sequential() model.add(tf.ker
NLPer必会：bert+bilstm+CRF进行中文命名实体识别（NER）
Clairezcy的博客
02-27 7545
1、命名实体识别由于有标注标签的存在，转化为多分类问题。 标注标签本次训练集中为‘BIO’方式标注 命名实体标注三种：人物，地点，组织机构 标签共7个类别：B-PER,I-PER,B-LOC,I-LOC,B-ORG,I-ORG,O 2、对于文本向量表示，如使用预训练模型BERT的向量： 安装腾讯肖涵博士开发的Bert Server(bert-serving-server)和Client(bert-...
【Bert + BiLSTM + CRF】实现实体命名识别，最少的代码实现功能，简单易用
Sito的博客
02-25 5864
基于Transformers, pytorch-crf, torch.nn 实现NLP的实体命名识别ner功能，此文章仅供刚入门NLP的新同学
BERT-BiLSTM-CRF命名实体识别应用
徐奕的专栏
05-18 1万+
引言 本文将采用BERT+BiLSTM+CRF模型进行命名实体识别（Named Entity Recognition 简称NER），即实体识别。命名实体识别，是指识别文本中具有特定意义的实体，主要包括人名、地名、机构名、专有名词等。 BERT（Bidirectional Encoder Representation from Transformers），即双向Transformer的Encoder。模型的创新点在预训练方法上，即用了Masked LM和Next Sentence Prediction两种
BERT下接连接层进行学习时分层设置学习率
KenKing酱的呆呆博客
02-24 3006
对于已经声明好的模型 model ,获取其每层信息的方法： 首先获取模型每层信息的的方法如下： for n,p in model.named_parameters() # n是每层的名称，p是每层的参数 可以 print 出来看一看 在笔者使用的模型中，Bert作为embedding层存在，其名称为‘embedding.xxxxx’ 对于embedding层，我是用已设置好的learning_rate = 3e-5 那么接下来分组如下： optimizer_grouped_parameter
python 数据预处理（采用拉格朗日插值法处理缺失值）
热门推荐
momaojia的博客
06-21 2万+
在数据挖掘中，数据往往会存在不完整的情况，本文主要采用拉格朗日插值法处理缺失值。 拉格朗日插值法 定义：对于某个多项式函数，已知有给定的K+1个取值点： 其中x对应自变量的位置，y对应这函数在这个位置（每一个y值都不等于0）的取值。 解设任意两个不同的Xj都互不相同，对应的拉格朗日插值所得到的拉格朗日插值多项式为： 下面采用拉格朗日插值对缺失值进行插补，数据的形式
Bert-BiGRU-CRF
10-05
BERT是一种预训练语言模型，能够学习句子中的上下文信息，BiGRU是一种双向门控循环单元，能够捕捉句子中的前后关联信息，而CRF则用于解决序列标注问题，能够根据整个序列的上下文信息进行标签推断。 Bert-BiGRU-CRF...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值