零基础入门--中文实体关系抽取（BiLSTM+attention，含代码）

最新推荐文章于 2024-04-19 21:22:19 发布
最新推荐文章于 2024-04-19 21:22:19 发布
阅读量4.6w 收藏 272
点赞数 34
分类专栏： 知识图谱 文章标签： 关系抽取 中文 BiLSTM+attention 知识图谱
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/buppt/article/details/82961979
版权

前面写过一片实体抽取的入门，实体关系抽取就是在实体抽取的基础上，找出两个实体之间的关系。

本文使用的是BiLSTM+attention模型，代码在这里，不定期对代码进行修改添加优化。

数据处理

其实数据处理的方法有很多，我用的是近两年英文论文使用的比较多的词向量+位置向量的方法。

中文实体关系抽取的数据实在是太难找了，我现在只有忘记在哪里找到的一个人物关系数据集。希望同学们能分享一些其他的数据集。

先看原始数据（其实原始数据里好多句子我都看不出来其中人物实体的关系）：

霍启山 霍启刚 兄弟姐妹 两位弟弟：霍震霆与朱玲玲育有三子，大公子霍启山、二公子霍启刚、三公子霍启仁

先是两个实体，然后是两个实体之间的关系，最后是两个实体所在的句子，都用空格分开。

所以数据处理先将这4部分分开。

先将句子转换成词向量，或者叫字向量。具体方法是建立word2id词典，把每个字都转换成id。

然后记录句子中每个字距离两个实体的距离。比如前面的例子，霍启山是第一个实体，这里假设实体后面为正，汉字和标点符号都计算在内，句子开始“两”和实体一的距离是-20，“位”和实体一的距离是-19。。。最后一个字“仁”和实体一的距离为16。

每个字距离实体二的距离同上。

这样每个字都有了一个字向量和两个距离向量，将这三个向量结合起来，就可以作为模型的输入了

最低0.47元/天 解锁文章
buppt
关注
  • 34
    点赞
  • 踩
  • 272
    收藏
    觉得还不错? 一键收藏
  • 75
    评论
专栏目录
基于bert的中文实体关系识别（实体关系抽取）项目开源
大数据AI笔记
12-11 1万+
在清华大学开源的OpenNRE项目基础上实现中文实体关系识别 github项目地址，点我 文章目录一、中文关系抽取训练结果测试结果二、使用前准备三、注意事项 一、中文关系抽取 使用哈工大，BERT-wwm，中文bert，在20w中文人物关系数据上的准确率达到0.97 训练结果 === Epoch 0 train === 100%|███████████████████████████████...
BiLSTM+Attention实现SemEval-2010 Task 8上的关系抽取（Pytorch）【代码+报告】
12-27
实验代码：relation_Extraction.zip
中文实体关系抽取实践
热门推荐
爱吃火锅的博客
07-17 2万+
前言 本篇博客主要讲NLP中的关系抽取，聚焦点中文，没有过多理论，侧重实践（监督学习）。 关于实体关系抽取的技术发展脉络，感兴趣的可以看一下： https://www.cnblogs.com/theodoric008/p/7874373.html 关系抽取有限定关系抽取和开放关系抽取，这里主要说限定关系抽取即分类问题 其过程常常又有监督学习和半监督学习，这里主要讲利用深度学习进行的监督学...
Matlab实现VMD-CNN-BiLSTM变分模态分解结合卷积神经网络结合双向长短期记忆神经网络多变量时间序列预测
最新发布
m0_57702748的博客
04-19 781
风电作为一种清洁可再生能源，在全球能源结构中扮演着越来越重要的角色。然而，风电出力具有随机性和波动性，给电网调度和运行带来巨大挑战。因此，准确预测风电出力至关重要。近年来，深度学习方法在风电预测领域取得了显著成果。本文提出一种基于变分模态分解结合卷积神经网络优化双向长短记忆神经网络（VMD-CNN-BiLSTM）的风电数据预测方法。该方法首先利用变分模态分解（VMD）将原始风电数据分解为多个内在模态分量，有效提取不同时间尺度的风电数据特征。然后，利用卷积神经网络（CNN）提取每个模态分量的局部特征。
超级超级详细的实体关系抽取数据预处理代码详解
TNNAA的博客
07-30 3446
超级超级详细的实体关系抽取数据预处理代码详解 由于本人是代码小白,在学习代码过程中会出现很多的问题,所以需要一直记录自己出现的问题以及解决办法. 废话不多说,直接上代码!!! 一.data_process 1.由于数据集太大,然鹅本人的电脑…所以,我先添加了一段代码切分了一下数据集,因为数据集中都是三元组形式,所以可以直接笨拙的切分为几个文件 2.读取初始数据.读取切分之后的任意一个就OK了,存放为数组形式 3.保留元素全为中文的三元组 4.构建实体字典,为字典增加key-value对 输出结果应
自然语言处理应用：开放文本域的实体关系抽取
u013308709的博客
03-23 170
【代码】自然语言处理应用：开放文本域的实体关系抽取。
pytorch实现BiLSTM代码
互相学习的小博客
03-23 6909
pytorch实现BiLSTM代码
命名实体识别BiLSTM-CRF模型的Pytorch_Tutorial代码解析和训练自己的中文数据集
weixin_42280271的博客
03-20 1695
命名实体识别（NER）属于自然语言处理中的最常见的也是最基础的任务，是指从文本中识别出特定命名指向的词，比如人名、地名和组织机构名等。命名实体识别任务做标签方法有很多，包括BIO、BIOSE、IOB、BILOU、BMEWO、BMEWO+等，最常见的是 BIO 与 BIOES 这两种。不同做标签的方法会对模型效果有些许影响，例如有些时候用BIOES会比BIO有些许优势。在BIO和BIOSE中，Beginning 表示某个实体词的开始，Inside表示某个实体词的中间，Outside表示非实体词，End表示某个
时间序列预测——BiLSTM模型
weixin_39753819的博客
02-09 5584
本文介绍了BiLSTM模型的理论原理、优缺点，与LSTM、GRU的区别，并用Python实现了BiLSTM的单步预测和多步预测的代码。
BERT：代码解读、实体关系抽取实战
满腹的小不甘
10-31 1万+
目录 前言 一、BERT的主要亮点 1. 双向Transformers 2.句子级别的应用 3.能够解决的任务 二、BERT代码解读 1. 数据预处理 1.1 InputExample类 1.2 InputFeatures类 1.3 DataProcessor 重点 1.4 convert_single_example 1.5 file_based_conver...
关系抽取（自学笔记）
qq_38331611的博客
07-21 3318
！！ 参考《实体关系抽取方法研究综述》 实体关系任务1998年提出 识别实体 识别关系触发标识符（二分类问题，识别是否是关系触发标识符） 关系分类 例如： 实例“姚明出生于上海” 首先，对句子进行预处理，识别出命名实体“姚明”和“上海” 然后， “出生于”作为关系触发词表明这２种实体之间可能存在某种关系 最后，通过关系抽取模型的判定，得出２个实体之间存在着“地点”这一关系 少量对抗样本会避免模型过拟合 NLTK工具包：2009年宾夕法尼亚大学计算机和信息科学系 实验室里开发的。在关系抽取方面，研
基于Bi-LSTM-Attention模型的人体行为识别算法
02-06
针对长短时记忆网络(LSTM)不能有效地提取动作前后之间相互关联的信息导致行为识别率偏低的问题,提出了一种基于Bi-LSTM-Attention模型的人体行为识别算法。该算法首先从每个视频中提取20帧图像,通过Inceptionv3模型提取图像中的深层特征,然后构建向前和向后的Bi-LSTM神经网络学习特征向量中的时序信息,接着利用注意力机制自适应地感知对识别结果有较大影响的网络权重,使模型能够根据行为的前后关系实现更精确的识别,最后通过一层全连接层连接Softmax分类器并对视频进行分类。通过Action Youtobe和KTH人体行为数据集与现有的方法进行比较,实验结果表明,本文算法有效地提高了行为识别率。
NER命名实体识别代码-BiLSTM+CRF
03-12
下载即可运行 1、data文件夹（数据） 2、bilstm_crf_model.py（模型） 3、process_data.py（数据预处理文件） 4、train.py（模型训练文件） 5、val.py（测试文件） 6、model.png（模型结构图）
基于BiGRU模型的中文关系抽取算法代码
05-28
此代码主要是基于深度学习的中文关系抽取模型，希望帮助大家
ChineseNRE:中文实体关系抽取，pytorch，bilstm+attention
05-10
中文实体关系抽取，对实体关系抽取不了解的可以先看。顺便求star～ 数据 中文实体关系抽取数据实在太难找了，data中是忘记在哪里找的人物关系数据集，一共11+1种关系，数据质量不太好，但也找不到其他的了。 （更新...
实体关系抽取pipline方式，使用了BiLSTM+CRF+BERT.zip
01-18
项目说明 项目使用pytorch实现实体关系抽取中的流水线式模型。 命名实体识别部分使用的是BiLSTM+CRF。 实体关系抽取使用的是Bert进行关系分类。 最终的效果比较好。
人工智能-项目实践-实体抽取-中文命名实体识别，实体抽取，tensorflow，pytorch，BiLSTM+CRF
03-30
中文命名实体识别，实体抽取，tensorflow，pytorch，BiLSTM+CRF data文件夹中有三个开源数据集可供使用，玻森数据 (https://bosonnlp.com) 、1998年人民日报标注数据、MSRA微软亚洲研究院开源数据。其中boson数据集...
基于BLSTM-Attention-CRF模型的新能源汽车领域术语抽取
07-03
从深度学习的角度出发,提出了一种基于Attention 的双向长短时记忆网络(bidirectional long short-term memory,BLSTM)与条件随机场(conditional random fields,CRF)相结合的领域术语抽取模型(BLSTM_Attention_CRF ...
chatgpt实现NLP基本任务（实体识别、关系抽取、属性抽取、事件抽取、文本分类）
m0_46275020的博客
07-05 6188
chatgpt实现NLP基本任务（实体识别、关系抽取、属性抽取、事件抽取、文本分类）
word2vec+bilstm+crf模型抽取实体关系，输出预测结果代码
06-01
下面是一个简单的Python代码示例，用于实现基于word2vec+bilstm+crf的实体关系抽取模型： ``` python import gensim import numpy as np import pandas as pd import tensorflow as tf from keras.preprocessing.sequence import pad_sequences from keras.utils import to_categorical from keras.models import Sequential from keras.layers import Embedding, Bidirectional, LSTM, Dense, TimeDistributed from keras_contrib.layers import CRF # 加载预训练的word2vec模型 w2v_model = gensim.models.KeyedVectors.load_word2vec_format('path/to/word2vec/model') # 加载训练数据 train_data = pd.read_csv('path/to/train/data') # 将文本转换为词向量序列 X_train = [] for sentence in train_data['text']: words = sentence.split() word_vectors = [] for word in words: if word in w2v_model: word_vectors.append(w2v_model[word]) else: word_vectors.append(np.zeros(w2v_model.vector_size)) X_train.append(word_vectors) # 对词向量序列进行填充，使其长度相同 X_train = pad_sequences(X_train, padding='post', maxlen=100) # 将标签转换为one-hot编码 y_train = to_categorical(train_data['label'].values) # 构建模型 model = Sequential() model.add(Embedding(input_dim=len(w2v_model.vocab), output_dim=w2v_model.vector_size, weights=[w2v_model.vectors])) model.add(Bidirectional(LSTM(units=128, return_sequences=True))) model.add(TimeDistributed(Dense(units=128, activation='relu'))) crf = CRF(units=len(y_train[0]), sparse_target=True) model.add(crf) # 编译模型 model.compile(optimizer='adam', loss=crf.loss_function, metrics=[crf.accuracy]) # 训练模型 model.fit(X_train, y_train, epochs=10, batch_size=32) # 加载测试数据 test_data = pd.read_csv('path/to/test/data') # 将测试数据转换为词向量序列 X_test = [] for sentence in test_data['text']: words = sentence.split() word_vectors = [] for word in words: if word in w2v_model: word_vectors.append(w2v_model[word]) else: word_vectors.append(np.zeros(w2v_model.vector_size)) X_test.append(word_vectors) # 对词向量序列进行填充，使其长度相同 X_test = pad_sequences(X_test, padding='post', maxlen=100) # 预测测试数据 y_pred = model.predict(X_test) # 将预测结果转换为标签 y_pred_labels = [] for i in range(len(y_pred)): pred_labels = [] for j in range(len(y_pred[i])): pred_labels.append(np.argmax(y_pred[i][j])) y_pred_labels.append(pred_labels) # 输出预测结果 for i in range(len(test_data)): print(test_data['text'][i]) print('Predicted labels:', y_pred_labels[i]) ``` 需要注意的是，上述代码仅供参考，具体实现细节还需要根据实际情况进行调整。同时，该模型的训练和预测需要大量的计算资源和时间，在实际应用中需要进行优化。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 75
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值