实体关系抽取：BiLSTM + Attention (含代码+详细注释)

最新推荐文章于 2024-06-19 08:45:00 发布
最新推荐文章于 2024-06-19 08:45:00 发布
阅读量2w 收藏 181
点赞数 15
分类专栏： 知识图谱 文章标签： 实体关系抽取 NRE BiLSTM+Attention pytorch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Tianweidadada/article/details/102755094
版权

把代码放github上面了：链接地址 （记得给个star哦）

数据集介绍

本文采用的是一份中文数据集（数据质量不高，我们主要目的是展现实体关系抽取过程，掌握方法后可以用于高质量数据集上）

每个样例格式如下：

实体1    实体2    实体间关系    句子xxxxxxxxxxxxxxxxx

示例：

郭全宝 郭启儒    合作 、郭全宝）、我是家长（侯宝林、郭启儒）、武松打虎（侯宝林、郭全宝）、戏剧杂谈（侯宝林、郭启儒）、

数据集共11+1种关系 （包括unknow）

unknown 0
父母 1
夫妻 2
师生 3
兄弟姐妹 4
合作 5
情侣 6
祖孙 7
好友 8
亲戚 9
同门 10
上下级 11

 我们本质上是把关系抽取问题转换成了多分类问题。

 

数据分布

1、获取实体关系分布状况：

标签的分布状况
relation_id    numbers
        0     78642
        2     36889
        1     28864
        5     1
最低0.47元/天 解锁文章
Tianweidadada
关注
  • 15
    点赞
  • 踩
  • 181
    收藏
    觉得还不错? 一键收藏
  • 33
    评论
专栏目录
【自然语言处理（NLP）】基于BiLSTM的关系抽取
m0_54754302的博客
10-23 1389
【自然语言处理（NLP）】基于BiLSTM的关系抽取，基于百度飞桨开发，参考于《自然语言处理实践》所作。
实战三十四：BiLSTM 算法实战：基于BiLSTM实现文本实体关系抽取任务 代码+数据
12-20 1364
基于BiLSTM实现文本实体关系抽取任务 代码+数据
ChineseNRE:中文实体关系抽取，pytorch，bilstm+attention
05-10
ChineseNRE 本项目使用 python 2.7 pytorch 0.4.0 中文实体关系抽取，对实体关系抽取不了解的可以先看。顺便求star～ 数据 中文实体关系抽取数据实在太难找了，data中是忘记在哪里找的人物关系数据集，一共11+1种关系，数据质量不太好，但也找不到其他的了。 （更新）中 ybNero 同学分享了一份数据集，大家可以去issues中查看~ 梅葆玥 梅兰芳 父母 坎坷经历梅葆玥之家庭合影1961年，梅兰芳先生病逝，葆玥、葆玖姐弟俩继承父亲的遗志，挑起了梅剧团的重担 数据格式为: 实体1 实体2 关系 句子。 虽然叫中文实体关系抽取，还是增加了一个英文数据集SemEval2010_task8，简单做了下数据处理，这是免费的公开数据集，其他的好像都要dollar了。。 训练 模型使用的是lstm+attention模型。特征使用词向量+位置向量。 训练前先运行dat
Bi-LSTM + Attention模型
永远飞翔的鸟
06-06 3482
虽然看了一些很好的blog了解了LSTM的内部机制，但对框架中的lstm输入输出和各个参数还是没有一个清晰的认识，今天打算彻底把理论和实现联系起来，再分析一下pytorch中的LSTM实现。 先说理论部分。一个非常有名的blog把原理讲得很清楚，推荐参考。总之就是这些公式： 简单来说就是，LSTM一共有三个门，输入门，遗忘门，输出门，分别为三个门的程度参数，是对输入的常规RNN操作。公式里可以看到LSTM的输出有两个，细胞状态和隐状态，是经输入、遗忘门的产物，也就是当前c...
NLP之实体抽取
最新发布
CherryXieのblog
06-19 875
实体抽取(Entity Extraction)是自然语言处理(NLP)领域中一项重要的技术,它的目的是从非结构化的文本数据中识别并提取出有意义的实体。实体是指文本中表示某种具体事物的词语或短语,通常包括以下几类:人名：如"马云"、“比尔·盖茨”地名：如"北京"、“纽约”组织机构：如"阿里巴巴"、“联合国”日期：如"2024年6月18日"时间：如"下午三点"货币：如"100美元"数量：如"5000平方米"产品：如"iPhone 14"品牌：如"可口可乐"
BiLSTM-Attention实现关系抽取（基于pytorch）
Zackery的博客
04-21 1万+
概述 虽然tensorflow2.0发布以来还是收获了一批用户，但是在自然语言处理领域，似乎pytorch见的更多一点。关系抽取是目前自然语言处理的主流任务之一，遗憾没能找到较新能用的开源代码。一方面是因为关系抽取任务的复杂性，目前数据集较少，且标注的成本极高，尤其是中文数据集，所以针对该任务的数据集屈指可数，这也限制了这方面的研究。另一方面，关系抽取任务的复杂性，程序多数不可通用。github上...
零基础入门--中文实体关系抽取（BiLSTM+attention，含代码）
热门推荐
10-07 4万+
前面写过一片实体抽取的入门，实体关系抽取就是在实体抽取的基础上，找出两个实体之间的关系。 本文使用的是BiLSTM+attention模型，代码在这里，不定期对代码进行修改添加优化。 数据处理 其实数据处理的方法有很多，我用的是近两年英文论文使用的比较多的词向量+位置向量的方法。 中文实体关系抽取的数据实在是太难找了，我现在只有忘记在哪里找到的一个人物关系数据集。希望同学们能分享一些其他的数据集。...
【NLP_命名实体识别】Albert+BiLSTM+CRF模型训练、评估与使用
越努力，越幸运
03-10 4331
模型代码修改 2021/3/10：使用训练好的Bert/Albert-CRF模型，同时，在此基础上，加一层BiLSTM网络，得修改后的Albert-BiLSTM-CRF模型（见下一篇文章），开始训练。 修改思路：以已有的Albert+CRF模型代码为基础，参考网上的Albert+BiLSTM+CRF模型，稍加修改即可。值得注意的，无非是“三种模型”之间的数据传递类型，比如，将Albert模型训练得到的embedding，传入BiLSTM（参考：https://www.cnblogs.com/gczr/p
【一起入门NLP】中科院自然语言处理作业五：BiLSTM+Attention实现SemEval-2010 Task 8上的关系抽取（Pytorch）【代码+报告】
vector的博客
12-27 5597
这里是国科大自然语言处理的第五次作业（终于是最后一次作业了，冲！），本篇博客是记录对论文：Attention-Based Bidirectional Long Short-Term Memory Networks for Relation Classification 的复现过程。现在我们开始吧（今天也是花里胡哨的一天呢????） 目录1. 程序与实验说明实验要求程序说明2. 知识概述2.1 信息抽取2.2 关系抽取2.3 BiLSTM3. 数据数据来源数据处理4. 模型模型结构LSTM LayerAtte
【自然语言处理】BiLSTM+Attention_TensorFlow—数据集.zip
12-31
【自然语言处理】文本分类模型_BiLSTM+Attention_TensorFlow实现，是该博客https://blog.csdn.net/bqw18744018044/article/details/89334729的数据集，可能有点错误，请谨慎使用
Attention + BiLSTM
weixin_44585519的博客
12-20 4908
Attention + BiLSTM摘要引文基本原理模型原理图模型解释思考参考资料 摘要 暂无 引文 关系抽取从本质上看是一个多分类问题，对于这样一个问题来说最重要的工作无非特征的提取和分类模型的选择。 存在的问题及此模型提出的解决方法 NLP特征提取难度大 双向LSTM结合Attention机制，能在长时保留信息的基础上，自动发现那些对于分类起到关键作用的词，避免了传统的任务中复杂的特征工程。 基本原理 模型原理图 模型解释 模型结构 输入层：将句子拆分成词语输入到模型中 Embed
BiLSTM+Attention实现SemEval-2010 Task 8上的关系抽取（Pytorch）【代码+报告】
12-27
实验代码：relation_Extraction.zip
BiLSTM_Attention.rar
12-04
BiLSTM+Attention网络PyTorch实现 100%能跑通 有训练好的网络结构 有代码 也可自己训练
BiLSTM-Attention文本分类
12-21
概述 上一篇中使用BiLSTM-Attention模型进行关系抽取，因为只放出了较为核心的代码，所以看上去比较混乱。这篇以简单的文本分类为demo，基于pytorch，全面解读BiLSTM-Attention。 文本分类实战 整体构建 首先，我们导入需要的包，包括模型，优化器，梯度求导等，将数据类型全部转化成tensor类型 import numpy as np import torch import torch.nn as nn import torch.optim as optim from torch.autograd import Variable import torch.nn.fu
实体关系抽取pipline方式，使用了BiLSTM+CRF+BERT.zip
01-18
在这个项目中，采用了Pieline方式来实现这一过程，即通过一系列有序的模型进行处理，分别是BiLSTM+CRF用于命名实体识别（NER），然后使用BERT进行实体关系抽取。以下将详细阐述这两个关键组件以及它们在知识图谱构建...
基于Bilstm + CRF的信息抽取模型
05-20
**基于Bilstm + CRF的信息抽取模型** 信息抽取（Information Extraction, IE）是自然语言处理（NLP）领域中的一个重要任务，它旨在从非结构化的文本中自动抽取出有意义的信息，如实体、关系和事件等。在本项目中，...
自然语言处理实体抽取算法基于pytorch框架bert+bilstm+crf
10-24
BERT+BiLSTM+CRF是一种用于命名实体识别（Named Entity Recognition, NER）的深度学习模型。其中，BERT（Bidirectional Encoder Representations from Transformers）是一种预训练的语言模型，用于捕捉上下文信息；...
【NLP实践】使用Pytorch进行文本分类——BILSTM+ATTENTION
黑白象
07-02 2万+
目录网络结构代码实现模型效果 网络结构 代码实现 class TextBILSTM(nn.Module): def __init__(self, config:TRNNConfig, char_size = 5000, pinyin_size = 5000): ...
NLP-信息抽取-关系抽取-2016：Attention-BiLSTM实体关系分类器【基于双向LSTM及注意力机制的关系分类】【数据集：SemEval-2010 Task 8】
u013250861的博客
09-07 1885
《原始论文：Attention-based bidirectional long short-term memory networks for relation classification》
word2vec+bilstm+crf模型抽取实体关系，输出预测结果代码
06-01
下面是一个简单的Python代码示例，用于实现基于word2vec+bilstm+crf的实体关系抽取模型： ``` python import gensim import numpy as np import pandas as pd import tensorflow as tf from keras.preprocessing.sequence import pad_sequences from keras.utils import to_categorical from keras.models import Sequential from keras.layers import Embedding, Bidirectional, LSTM, Dense, TimeDistributed from keras_contrib.layers import CRF # 加载预训练的word2vec模型 w2v_model = gensim.models.KeyedVectors.load_word2vec_format('path/to/word2vec/model') # 加载训练数据 train_data = pd.read_csv('path/to/train/data') # 将文本转换为词向量序列 X_train = [] for sentence in train_data['text']: words = sentence.split() word_vectors = [] for word in words: if word in w2v_model: word_vectors.append(w2v_model[word]) else: word_vectors.append(np.zeros(w2v_model.vector_size)) X_train.append(word_vectors) # 对词向量序列进行填充，使其长度相同 X_train = pad_sequences(X_train, padding='post', maxlen=100) # 将标签转换为one-hot编码 y_train = to_categorical(train_data['label'].values) # 构建模型 model = Sequential() model.add(Embedding(input_dim=len(w2v_model.vocab), output_dim=w2v_model.vector_size, weights=[w2v_model.vectors])) model.add(Bidirectional(LSTM(units=128, return_sequences=True))) model.add(TimeDistributed(Dense(units=128, activation='relu'))) crf = CRF(units=len(y_train[0]), sparse_target=True) model.add(crf) # 编译模型 model.compile(optimizer='adam', loss=crf.loss_function, metrics=[crf.accuracy]) # 训练模型 model.fit(X_train, y_train, epochs=10, batch_size=32) # 加载测试数据 test_data = pd.read_csv('path/to/test/data') # 将测试数据转换为词向量序列 X_test = [] for sentence in test_data['text']: words = sentence.split() word_vectors = [] for word in words: if word in w2v_model: word_vectors.append(w2v_model[word]) else: word_vectors.append(np.zeros(w2v_model.vector_size)) X_test.append(word_vectors) # 对词向量序列进行填充，使其长度相同 X_test = pad_sequences(X_test, padding='post', maxlen=100) # 预测测试数据 y_pred = model.predict(X_test) # 将预测结果转换为标签 y_pred_labels = [] for i in range(len(y_pred)): pred_labels = [] for j in range(len(y_pred[i])): pred_labels.append(np.argmax(y_pred[i][j])) y_pred_labels.append(pred_labels) # 输出预测结果 for i in range(len(test_data)): print(test_data['text'][i]) print('Predicted labels:', y_pred_labels[i]) ``` 需要注意的是，上述代码仅供参考，具体实现细节还需要根据实际情况进行调整。同时，该模型的训练和预测需要大量的计算资源和时间，在实际应用中需要进行优化。
评论 33
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值