使用bert4keras进行关系抽取的原理

最新推荐文章于 2024-03-21 09:33:20 发布
最新推荐文章于 2024-03-21 09:33:20 发布
阅读量450 收藏 1
点赞数
文章标签： 机器学习 深度学习 概率论
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41898761/article/details/125191621
版权

模型介绍

在这里插入图片描述

1、原始序列转id后，传入bert的编码器，得到编码序列；
2、编码序列接两个二分类器，预测s；
3、根据传入的s，从编码序列中抽取出s的首和尾对应的编码向量；
4、以s的编码向量作为条件，对编码序列做一次条件Layer Norm；
5、条件Layer Norm后的序列来预测该s对应的o、p

Layer Norm : 进行归一化
在这里插入图片描述
条件Layer Norm

出现的问题

出现问题：抽取S,P,O时候类别不均衡,0太多1太少
解决方法：将概率值做n次方。
解决思路：
原来输出一个概率值p，代表类别1的概率是p，我现在将它变为 p n p^{n}

最低0.47元/天 解锁文章
世界划水锦标赛冠军
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
简洁优美的深度学习包-bert4keras
weixin_44597588的博客
04-01 5757
简洁优美的bert4keras
bert4keras使用笔记
hxl
04-05 3293
什么是bert4keras bert4keras是一个基于keras的预训练模型加载框架，目前支持多种预训练模型（BERT、ALBERT、RoBERTa、ALBERT、NEZHA、GPT2、T5等），并支持多种环境（python 2.7、python 3.x）和后端（keras、tf.keras、tf 1.x、tf 2.x）。 keras-bert依赖于keras-transformer，而keras-transformer依赖于keras-multi-head，keras-multi-head依赖于ker
探秘BERT4Keras：轻松构建高效的深度学习模型
gitblog_00018的博客
03-21 377
探秘BERT4Keras：轻松构建高效的深度学习模型 项目地址:https://gitcode.com/bojone/bert4keras 在自然语言处理（NLP）领域，预训练模型如BERT已经取得了显著的突破。然而，将这些先进的模型应用到实际项目中并不总是那么简单。幸运的是，BERT4Keras项目由开发者@bojone创建，旨在提供一个简洁、高效且易于使用的接口，让Keras用户也能方便地利...
论文笔记01：R-BERT：BERT在关系抽取中的应用
大雄没有叮当猫的博客
08-26 3908
利用实体信息丰富预训练模型以进行关系分类 Enriching Pre-trained Language Model with Entity Information for Relation Classification 摘要 关系分类是抽取实体间关系的一个重要的NLP任务。关系抽取中的SOTA方法主要基于卷积神经网络或者循环神经网络。最近，预训练的BERT模型在NLP分类和序列标注任务上取得了非常成功的结果。关系分类同上述任务不同，它依赖于句子和两个目标实体的信息。在这篇文章中，我们提出了一个模型，既利用预
Bert4keras相关环境安装
try2find的专栏
12-06 569
特别要注意：keras-nightly 2.5.0.dev2021021100 的安装，其版本号有点特别。安装：cudatoolkit 10.1.243。安装：bert4keras 0.11.3。1. 创建虚拟环境，先安装cudatoolkit和cudnn。cudatoolkit版本不对容易报so库找不到的错。2. 安装对应的tensorflow版本与依赖。(2) tf转onnx错误。(1) so库找不到。
bert4keras加载BERT模型并获取文本字向量、句向量CLS
qq_41982466的博客
03-02 4158
bert4keras加载BERT模型并获取文本字向量、句向量CLS 环境依赖 tensorflow2.3+ bert4keras 开源BERT模型下载 BERT模型https://github.com/ymcui/Chinese-BERT-wwm ，BERT-wwm-ext, Chinese TF版 模型解压后文件目录如下： bert_config.json：保存的是BERT模型的一些主要参数设置 bert_model.ckpt.xxxx：这里有多个文件，但导入模型只需要bert_model.ckpt这个
课程大作业基于bert4keras开放领域的关系抽取python源码+部署说明.zip
08-21
课程大作业基于bert4keras开放领域的关系抽取python源码+部署说明.zip 1、该资源内项目代码都是经过测试运行成功，功能ok的情况下才上传的，请放心下载使用！ 2、本项目适合计算机相关专业(如计科、人工智能、通信...
基于bert4keras开放领域的关系抽取python源码+部署说明.zip
最新发布
05-12
基于bert4keras开放领域的关系抽取python源码+部署说明.zip
基于bert4keras进行nlp工作，包含文本分类，实体识别，实体关系抽取.zip
01-18
基于bert4keras进行nlp工作，包含文本分类，实体识别，实体关系抽取
人工智能-项目实践-文本分类-本项目采用Keras和Keras-bert实现文本多标签分类任务，对BERT进行微调。
05-25
人工智能-项目实践-文本分类-本项目采用Keras和Keras-bert实现文本多标签分类任务，对BERT进行微调。 本项目采用Keras和Keras-bert实现文本多标签分类任务。 数据集 2020语言与智能技术竞赛：事件抽取任务 本...
keras bert 事件抽取
飞华的博客
03-31 2933
1.数据读取 """ @author: chenzhenhua @time: 2020/3/12 14:36 @file: read_event_extraction.py @desc: """ import codecs import pandas as pd from keras_bert import Tokenizer from tensorflow.python.keras.cal...
基于BiGRU模型的中文关系抽取算法代码
05-28
此代码主要是基于深度学习的中文关系抽取模型，希望帮助大家
bert实践:关系抽取解读
热门推荐
爱吃火锅的博客
07-31 4万+
前言 bert模型是谷歌2018年10月底公布的，反响巨大，效果不错，在各大比赛上面出类拔萃，它的提出主要是针对word2vec等模型的不足，在之前的预训练模型（包括word2vec，ELMo等）都会生成词向量，这种类别的预训练模型属于domain transfer。而近一两年提出的ULMFiT，GPT，BERT等都属于模型迁移，说白了BERT 模型是将预训练模型和下游任务模型结合在一起的，核心...
【文本信息抽取与结构化】详聊如何用BERT实现关系抽取
sjyttkl的专栏
03-10 2276
目录 前述 1) 模型结构 2) 模型运算 2 End-to-End BERT RE 1) 模型结构 1. 实体识别模块 常常在想，自然语言处理到底在做的是一件什么样的事情？到目前为止，我所接触到的NLP其实都是在做一件事情，即将自然语言转化为一种计算机能够理解的形式。这一点在知识图谱、信息抽取、文本摘要这些任务中格外明显。不同的任务的差异在于目标的转化形式不一样，因而不同的任务难...
笔记:关系抽取算法之Snowball
weixin_46249816的博客
04-25 4349
**信息抽取**指的是从非结构化文本中提取结构化信息的一类技术。定义为：从自然语言文本中抽取指定类型的实体、关系、事件等事实信息，并形成结构化数据输出的文本处理技术。 信息抽取肯定离不开**命名实体识别(NER)**和**关系抽取**，这里就主要说一下关系抽取中的一种算法**Snowball**。 说到Snowball，我们先从Bootstrap说起，Bootstrap是一种基于半监督和无监...
【知识图谱】关系抽取与总结展望
风口IT猪的成长录
06-16 1667
关系抽取实验介绍实验原理关系抽取任务数据预处理实验步骤数据处理构建网络模型模型预测总结展望实际应用结构化数据知识推理应用领域参考文献All Link 实验介绍 在上一节的实验中【知识图谱】命名实体识别（NLP）我们学习了如何将实体从文本中抽取出来，在实体抽取出来之后得到的是离散的节点，为了构成网状的知识，还需要从文本中提取实体之间的关系。 因此，本实验中将学习如何从文本中抽取实体之间的关系。 在本实验中，你将掌握： 关系抽取任务的定义与理论解决方法 关系抽取任务中数据集处理方法 关系抽取模型——PCNN
NLP实战：使用Bert4Keras工具包+Colab实现命名实体识别NER任务
Dtacit的博客
02-16 5551
背景： 目标：快速上手实现一个基于BERT和CRF的命名实体识别（NER）任务。 适宜人群：希望使用Bert来进行NER任务的NLP初学者。同时大概知道如何使用keras和Colab使用免费GPU的伙伴们。 问题： 1，为什么要用BERT，什么是bert4keras工具包？ BERT最近几年大火，因为提供了高效的预训练方法。许多NLP任务上取得了非常好的效果。 但是现在的BERT并不是很好使用，...
bert4keras 测试代码可用性: 提取特征
机器学习初学者必看，关注我，一起了解机器学习
04-27 2308
bert4keras #! -*- coding: utf-8 -*- # 测试代码可用性: 提取特征 from bert4keras.backend import keras from bert4keras.models import build_transformer_model from bert4keras.tokenizers import Tokenizer import numpy...
电商搜索场景结构化匹配 使用命名实体识别（NER）+类目预测（意图识别）+bert4keras实现k-bert
bingheshidai_1234的博客
01-12 2969
电商搜索场景结构化匹配 使用命名实体识别（NER）+类目预测（意图识别）+同义词+bert4keras 实现kbert ...
tensorflow框架下BERT实体关系联合抽取Python代码，bert4keras
05-26
以下是使用bert4keras实现BERT实体关系联合抽取的Python代码示例： ```python import json import numpy as np from bert4keras.backend import keras, K from bert4keras.layers import Loss from bert4keras.models import build_transformer_model from bert4keras.optimizers import Adam from bert4keras.tokenizers import Tokenizer from keras.layers import Dense from keras.models import Model # 模型参数 maxlen = 128 epochs = 10 batch_size = 16 learning_rate = 2e-5 categories = ["疾病和诊断", "影像检查", "实验室检验", "药物"] num_classes = len(categories) # BERT配置 config_path = '/path/to/bert_config.json' checkpoint_path = '/path/to/bert_model.ckpt' dict_path = '/path/to/vocab.txt' # 加载数据 def load_data(filename): D = [] with open(filename, encoding='utf-8') as f: for l in f: l = json.loads(l) d = {'text': l['text'], 'spo_list': []} for spo in l['spo_list']: for o in spo['object']: d['spo_list'].append((spo['subject'], spo['predicate'], o)) D.append(d) return D # 加载数据集 train_data = load_data('/path/to/train_data.json') valid_data = load_data('/path/to/valid_data.json') test_data = load_data('/path/to/test_data.json') # 建立分词器 tokenizer = Tokenizer(dict_path, do_lower_case=True) class data_generator: """数据生成器 """ def __init__(self, data, batch_size=32, shuffle=True): self.data = data self.batch_size = batch_size self.shuffle = shuffle self.steps = len(self.data) // self.batch_size if len(self.data) % self.batch_size != 0: self.steps += 1 def __len__(self): return self.steps def __iter__(self): while True: idxs = list(range(len(self.data))) if self.shuffle: np.random.shuffle(idxs) X1, X2, S, Y = [], [], [], [] for i in idxs: d = self.data[i] text = d['text'][:maxlen] x1, x2 = tokenizer.encode(text) s = np.zeros(len(text)) for spo in d['spo_list']: subject = spo[0][:maxlen] object = spo[2][:maxlen] start = text.find(subject) if start != -1: end = start + len(subject) - 1 s[start:end+1] = 1 # 构建标注数据 predicate = spo[1] y = np.zeros(num_classes) y[categories.index(predicate)] = 1 X1.append(x1) X2.append(x2) S.append(s) Y.append(y) if len(X1) == 0: continue X1 = keras.preprocessing.sequence.pad_sequences(X1, maxlen=maxlen) X2 = keras.preprocessing.sequence.pad_sequences(X2, maxlen=maxlen) S = keras.preprocessing.sequence.pad_sequences(S, maxlen=maxlen) Y = np.array(Y) yield [X1, X2, S], Y # 构建模型 bert_model = build_transformer_model( config_path, checkpoint_path, model='bert', return_keras_model=False, ) output_layer = 'Transformer-%s-FeedForward-Norm' % (bert_model.num_hidden_layers - 1) output = bert_model.get_layer(output_layer).output output = Dense(num_classes, activation='sigmoid')(output) model = Model(bert_model.input, output) model.summary() # 损失函数 class MultiLoss(Loss): """多任务学习的损失函数 """ def compute_loss(self, inputs, mask=None): y_true, y_pred = inputs y_true = K.cast(y_true, y_pred.dtype) loss = K.binary_crossentropy(y_true, y_pred) return loss loss = MultiLoss().compute_loss # 优化器 optimizer = Adam(learning_rate) # 编译模型 model.compile(loss=loss, optimizer=optimizer) # 训练模型 train_generator = data_generator(train_data, batch_size) valid_generator = data_generator(valid_data, batch_size) test_generator = data_generator(test_data, batch_size) model.fit_generator( train_generator.forfit(), steps_per_epoch=len(train_generator), epochs=epochs, validation_data=valid_generator.forfit(), validation_steps=len(valid_generator) ) # 评估模型 model.evaluate_generator(test_generator.forfit(), steps=len(test_generator)) # 保存模型 model.save_weights('/path/to/model.weights') ```

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值