NLP-Beginner 任务四：基于LSTM+CRF的序列标注+pytorch

最新推荐文章于 2023-10-19 11:15:53 发布
最新推荐文章于 2023-10-19 11:15:53 发布
阅读量2.4k 收藏 29
点赞数 8
分类专栏： NLP-Beginner 文章标签： 深度学习 pytorch nlp 神经网络
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_42365109/article/details/119246515
版权

NLP-Beginner 任务四：基于LSTM+CRF的序列标注+pytorch

传送门

NLP-Beginner 任务传送门

我的代码/数据集传送门

原数据集介绍传送门

特征提取预训练模型

主要参考论文：Neural Architectures for Named Entity Recognition

辅助参考论文：End-to-end Sequence Labeling via Bi-directional LSTM-CNNs-CRF

一. 介绍

1.1 任务简介

本次的NLP（Natural Language Processing）任务是对一个英文句子进行序列标注，例子如下

1.2 数据集

我的代码/数据集传送门

原数据集介绍传送门

例子：

原数据：
EU NNP B-NP B-ORG
rejects VBZ B-VP O
German JJ B-NP B-MISC
call NN I-NP O
to TO B-VP O
boycott VB I-VP O
British JJ B-NP B-MISC
lamb NN I-NP O
. . O O
输入文本： EU rejects German call to boycott British lamb.
输出序列： B-ORG O B-MISC O O O B-MISC O O

原数据：
Peter NNP B-NP B-PER
Blackburn NNP I-NP I-PER
输入文本： Peter Blackburn
输出序列： B-PER I-PER

1.3 原数据解释

The first item on each line is a word, the second a part-of-speech (POS) tag, the third a syntactic chunk tag and the fourth the named entity tag.

每行第一项是单词，第二项是POS标签，第三项是语法块标签，第四项是命名实体标签，也就是我们本次的任务。

具体命名实体的每一个标签代表的意思，可以参考原数据集介绍。

数据集共有三个文件：train.txt, test.txt 和 dev.txt。由于文件数据的组织方式比较松散，因此需要预处理，并且需要去掉文件中所有的：-DOCSTART- -X- -X- O（代表某一个文档开始）

二. 特征提取——Word embedding(词嵌入)

请参考NLP任务二

本次实战除了给定的各种序列类别之外，还要另外多加3个类别，分别是: < pad >,< start >,< end >，分别代表padding（即补位，使句子达到同一个长度），句子开头和句子结尾，总共C类标签。

三. 神经网络（LSTM+CRF）

本部分详细内容可以参考论文：Neural Architectures for Named Entity Recognition

3.1 LSTM层

在这里插入图片描述
在这里插入图片描述

3.2 CRF层（条件随机场Conditional Random Field）

在这里插入图片描述

3.2.1 转移矩阵 T r a n Tran Tran 初始化

注意：

  • 句子开头< start >不可能到达< start >
  • < end >代表句子结尾，不能再转移
  • -< pad > 表示padding（即补位，使句子达到同一个长度）也只能转移到< pad >。

3.2.2 CRF（最困难的部分）

首先我们先明确一下目标，在LSTM层过后我们得到了得分矩阵 S S S，我们还要从输入 X X X得到一个loss（损失），从而优化整个网络的参数，而从 X X X得到loss的中间部分则是CRF层。

对于每一个句子 X X X，需要计算的数值如下：

  • 真实得分：对真正序列 y y y的得分
  • 全部得分：对于所有序列 y ~ \tilde{y} y~​的得分
  • softmax得分： e T r u e _ s c o r e ( X , y ) ∑ y ~ e s c o r e ( X , y ~ ) = e T r u e _ s c o r e ( X , y ) T o t a l _ s c o r e \frac{e^{True\_score(X,y)}}{\sum_{\tilde{y}} e^{score(X,\tilde{y})}}=\frac{e^{True\_score(X,y)}}{Total\_score} ∑y~​​escore(X,y~​)eTrue_score(X,y)​=Total_scoreeTrue_score(X,y)​，这个得分越高，就证明真正序列y的得分占比越大，而其它所有序列的指数加和占比越小，也就是说我们的模型更加正确。
  • Loss：loss一般是越小越好，而softmax得分是越大越好，且比值方式可以利用 l o g log log性质变成减法，因此取 l o s s = − log ⁡ ( s o f t m a x ) = T r u e _ s c o r e ( X , y ) − log ⁡ ( T o t a l _ s c o r e ) loss=-\log (softmax)=True\_score(X,y)-\log{(Total\_score)} loss=−log(softmax)=True_score(X,y)−log(Total_score)得分
3.2.2.1 真实得分——对应CRF.true_prob

有 S S S 和 T r a n Tran Tran 可以直接计算，非常简单，求和即可。
在这里插入图片描述

3.2.2.2 全部得分——对应CRF.total_prob（难点）

在这里插入图片描述

我们可以看到，我们需要计算所有序列 y ~ \tilde{y} y~​的得分，如果一个句子的长度为 T T T，一共 C C C类标签，那么我们就有 C T C^T CT种情况需要遍历，这个复杂度是非常高的，代价非常大，因此参考了网上的方法，采用动态规划（DP）的思想进行计算（非常难以理解）。

具体请参考代码。

3.2.2.3 Loss

直接计算 l o s s = T r u e _ s c o r e ( X , y ) − log ⁡ ( T o t a l _ s c o r e ) loss=True\_score(X,y)-\log{(Total\_score)} loss=True_score(X,y)−log(Total_score)

3.2.2.4 预测序列——对应CRF.predict（难点）

除了训练网络参数，我们还需要进行预测，以在测试集上进行测试。

预测无非就是在所有序列得分中找到最大得分的序列，因此一开始的想法是遍历 C T C^T CT种情况，但显然复杂度非常高，因此采用非常常见且高效的动态规划算法——viterbi算法（建议先了解算法本身）。

具体请参考代码。

四. 代码及实现

4.1 实验设置

  • 样本个数：train.txt与test.txt
  • 训练集:测试集 ： train.txt与test.txt
  • 特征提取：Random / GloVe Embedding
  • 学习率：10-3
  • l h ,   l f l_h,\ l_f lh​, lf​：50
  • Batch 大小：128
  • 训练轮数：50

4.2 结果展示

指标:单个句子的标注正确率的平均
比如:一个句子无论多少个词，只有标全对了，才记为1分，否则0分。

可以看到GloVe初始化比随机初始化明显地好，标注正确率随机最多只有55%，而GloVe最高能到76.23%，性能比较好。
在这里插入图片描述

五. 总结

自己编写CRF难度是非常大的，因此建议多去网上寻找相关的讲解，还有一种“逃课”的方法是，直接调包，好像pytorch是有现成的CRF包的，直接调用可以解决许多问题。

标注正确率不到80%其实不太高，模型有待改进，比如增大 l h 和 l f l_h和l_f lh​和lf​，更精确的指标可以参考原本论文的指标 F 1 F_1 F1​。

以上就是本次NLP-Beginner的任务四，全文难点在于全部得分和预测序列，需要多加琢磨。

谢谢各位的阅读，欢迎各位对本文章指正或者进行讨论，希望可以帮助到大家！

六. 自我推销

0oTedo0
关注
  • 8
    点赞
  • 踩
  • 29
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
探秘LSTM-CRF-PyTorch：深度学习中的序列标注利器
gitblog_00041的博客
04-18 352
探秘LSTM-CRF-PyTorch：深度学习中的序列标注利器 项目地址:https://gitcode.com/threelittlemonkeys/lstm-crf-pytorch 在这个链接中，Threelittlemonkeys团队提供了一个基于PyTorch实现的LSTM-CRF模型，它是一个强大的工具，用于处理序列标注任务，例如命名实体识别（NER）、词性标注等。本文将深入解析这个项目...
nlp-beginner task4 基于LSTM+CRF的序列标注
soyamilk233的博客
09-24 664
https://github.com/FudanNLP/nlp-beginner 1. 代码 参考的pytorch官方的ADVANCED: MAKING DYNAMIC DECISIONS AND THE BI-LSTM CRF，模型部分一模一样没什么好说的，只是看懂了再加了点注释 2. 结果 3. 总结 1. CRF相关的参考（个人推荐的顺序） nndl 第11章 如何用简单易懂的例子解释条件随机场（CRF）模型？它和HMM有什么区别？（其实也挺乱的，看个大概就行） ..
自然语言处理入门练习（四）：基于LSTM+CRF的序列标注（附代码）
南有芙蕖
07-03 4392
自然语言处理入门练习（四）：基于LSTM+CRF的序列标注（附代码） 目录自然语言处理入门练习（四）：基于LSTM+CRF的序列标注（附代码）一、基于门控的循环神经网络1 长短期记忆网络2 LSTM网络的各种变体3 门控循环单元网络二、无向图模型1 无向图模型2 无向图模型的概率分解3 常见的无向图模型3.1 对数线性模型3.2 条件随机场三、同步的序列到序列模式【参考资料】 一、基于门控的循环神经网络 为了改善循环神经网络的长程依赖问题， 一种非常好的解决方案是在公式???????? = ???????
NLP-Beginner任务四学习笔记：基于LSTM+CRF的序列标注
qq_51983316的博客
03-16 2999
NLP-Beginner任务四学习笔记：基于LSTM+CRF的序列标注
复旦nlp实验室 nlp-beginner 任务四：基于LSTM+CRF的序列标注
Raki_J的博客
01-11 1460
LSTM+CRF正确版本
pytorch lstm crf 代码理解
热门推荐
Jason__Liang的博客
08-17 1万+
好久没有写博客了，这一次就将最近看的pytorch 教程中的lstm+crf的一些心得与困惑记录下来。 原文 PyTorch Tutorials 参考了很多其他大神的博客，https://blog.csdn.net/cuihuijun1hao/article/details/79405740 https://www.jianshu.com/p/97cb3b6db573 至于原理，非常建议...
lstm-crf-pytorch:PyTorch中的LSTM-CRF
05-24
PyTorch中的LSTM-CRF 用于序列标记的双向LSTM-CRF的最小PyTorch（1.7.1）实现。 支持的功能： CUDA的小批量培训 嵌入层中的查找，CNN，RNN和/或自我关注 分层递归编码（HRE） 条件随机场（CRF）的PyTorch实现 CRF损失的矢量化计算 矢量化维特比解码 用法 培训数据的格式应如下： token/tag token/tag token/tag ... token/tag token/tag token/tag ... ... 有关更多详细信息，请参见每个子目录中的README.md。 准备数据： python3 prepare.py training_data 训练： python3 train.py model char_to_idx word_to_idx tag_to_idx training_data.csv (v
NER-in-Chinese-Text:NLP硬BiLSTM + CRF
05-15
NER：Keras中的中文命名实体识别模型1：基于字符嵌入的BiLSTM-CRF。 Model2：在model1的基础上。 使用Conv1D从单词嵌入中提取n_gram特征作为辅助特征。 ps： 首先运行preprocess.py和utils.py，以获取已处理的train ...
lstm+crf、bilstm+crf 、LSTM CRF pytorch 命名实体识别代码
04-21
命名实体识别（Named Entity Recognition, NER）是自然语言处理中的一个重要任务，它涉及到从文本中提取出具有特定意义的实体，如人名、地名、组织名等。本项目利用了深度学习模型，特别是结合了长短期记忆网络...
自然语言处理实体抽取算法基于pytorch框架bert+bilstm+crf
最新发布
10-24
BiLSTM（双向长短时记忆网络）用于处理序列数据；CRF（条件随机场）用于解决标签偏置问题，提高模型的预测准确性。 在训练过程中，需要将输入数据转换为适当的格式，并使用适当的损失函数和优化器进行训练。在推理...
NER-pytorch：LSTM + CRF NER
02-03
注意： 该软件包已停止更新，请参阅我们的新 参考： 纸： 用于命名实体识别的神经架构通过BLSTM-CNN-CRF进行端到端序列标记码： 用法： python train.py 性能 f1 91.00％
bi-lstm-crf:BI-LSTM-CRF模型的PyTorch实现
05-07
BI-LSTM-CRF模型的PyTorch实现。 特征： 与相比，执行了以下改进： 全面支持小批量计算 完全矢量化的实现。 特别是，删除了“得分句”算法中的所有循环，从而极大地提高了训练效果 支持CUDA 用于非常简单的API START / STOP标签会自动添加到CRF中 包含一个内部线性层，该线性层可从要素空间转换为标签空间 专门用于NLP序列标记任务 轻松训练自己的序列标记模型 麻省理工学院执照 安装 依存关系 的Python 3 安装$ pip install bi-lstm-crf 训练 语料库 以指定的准备语料库 也有一个示例语料库 训练 $ python -m bi_lstm_crf corpus_dir --model_dir " model_xxx " 更多 训练曲线 import pandas as pd import matplotlib . pyplot
pytorch_lstmcrf:LSTM-CRF的Pytorch实现以实现命名实体识别
05-17
用于命名实体识别（或序列标记）的LSTM-CRF模型 该存储库实现了用于命名实体识别的LSTM-CRF模型。 该模型与的模型相同，只是我们没有BiLSTM之后的最后一个tanh层。 我们在CoNLL-2003和OntoNotes 5.0英文数据集上均达到了SOTA性能（请通过使用Glove和ELMo来检查我们的，通过对BERT进行微调来检查其他）。 公告内容 我们实现了模块，该模块允许O（log N）推断和回溯！ 通过微调BERT / Roberta **获得 模型 数据集 精确 记起 F1 基于BERT的情况+ CRF（此存储库） CONLL-2003 91.69 92.05 91.87 Roberta-base + CRF（此仓库） 2003年 91.88 93.01 92.44 基于BERT的情况+ CRF（此存储库） 笔记5 89.57 89.45
NER-LSTM-CNN-Pytorch:通过双向LSTM-CNNs-CRF教程进行端到端序列标签
05-01
通过双向LSTM-CNNs-CRF教程进行端到端序列标签 这是针对ACL'16论文的PyTorch教程 该存储库包括 资料夹 设置说明文件 预训练模型目录（笔记本电脑将根据需要自动将预训练模型下载到此目录中） 作者 安装 最好的安装pytorch的方法是通过 设置 创建新的Conda环境 conda create -n pytorch python=3.5 激活公寓环境 source activate pytorch 使用特定的python版本（python 3.5）设置笔记本 conda install notebook ipykernel ipython kernel install --user PyTorch安装命令： conda install pytorch torchvision -c pytorch NumPy安装 conda install -c anaco
LSTM-CNNs-CRF.rar
06-04
LSTM-CNNs-CRF模型，论文《End-to-end Sequence Labeling via Bi-directional LSTM-CNNs-CRF》的复现
char-rnn-master_ner_biLSTM+CRF_BiLSTM-CRF_
10-01
命名实体识别（NER）是自然语言处理（NLP）领域中的一个重要任务，它旨在从文本中识别出具有特定意义的实体，如人名、地名、组织名等。在给定的“char-rnn-master_ner_biLSTM+CRF_BiLSTM-CRF_”项目中，开发者提供了...
pytorch版的bilstm+crf实现sequence label
kyle1314608的博客
07-14 248
在理解CRF的时候费了一些功夫，将一些难以理解的地方稍微做了下标注，隔三差五看看加强记忆, 代码是pytorch文档上的example import torch import torch.autograd as autograd import torch.nn as nn import torch.optim as optim def to_scalar(var): #va...
LSTM+CRF Pytorch tutorial 之从原理到代码 # 摸着石头入门系列
u014007701的博客
05-18 488
Pytorch 给出的命名体识别（NER）的小例子，简洁清晰，深入原理及实现细节，比较适合想深入学习又没有好的入门途径的同学。不过他过于简洁，一些理论背景没有介绍，对于咱们这些，在门口晃悠的渣渣掌握起来还是有点儿费劲。 所以，本文打算总结自己的学习过程，从原理到代码，走一遍这个小例子，算是摸着石头入门吧~ outline： 这个模型的用途 模型的结构 几个关键代码的原理 （先保存，后续继续写。。。2020-5-18） ...
LSTM-CRF模型详解和Pytorch代码实现
deephub
10-19 4478
在过去，CRF-LSTM模型已被广泛用于序列标记任务，但与最近的Transformer模型相比，它们也存在一定的缺点。一个重要的缺点是，CRF-LSTM不擅长对序列元素之间的长期依赖关系进行建模，而倾向于更好地处理局部上下文。这与transformer的情况不同，因为它们的自注意力机制能够捕获远程依赖关系，擅长建模全局上下文CRF-LSTM模型的另一个问题是它们顺序处理序列，这限制了并行化，并且对于长序列可能很慢，而transformer并行处理序列，因此通常更快。
为什么选择BiLSTM+CRF进行命名实体识别
06-01
这是自然语言处理中一个重要的任务，对于许多应用来说都非常关键。而BiLSTM+CRF模型在命名实体识别任务中具有以下优点： 1. 能够捕捉上下文信息：BiLSTM能够学习到单词之间的上下文信息，使得模型能够更好地理解...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值