超级超级详细的实体关系抽取数据预处理代码详解

最新推荐文章于 2024-04-14 00:01:42 发布
最新推荐文章于 2024-04-14 00:01:42 发布
阅读量3.4k 收藏 37
点赞数 7
分类专栏： 关系抽取 文章标签： python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/TNNAA/article/details/107697201
版权

超级超级详细的实体关系抽取数据预处理代码详解

由于本人是代码小白,在学习代码过程中会出现很多的问题,所以需要一直记录自己出现的问题以及解决办法.
废话不多说,直接上代码!!!

一.data_process
1.由于数据集太大,然鹅本人的电脑…所以,我先添加了一段代码切分了一下数据集,因为数据集中都是三元组形式,所以可以直接笨拙的切分为几个文件
数据集切分
2.读取初始数据.读取切分之后的任意一个就OK了,存放为数组形式
读取初始数据
3.保留元素全为中文的三元组
保留元素全为中文的三元组
4.构建实体字典,为字典增加key-value对

最低0.47元/天 解锁文章
TNNAA
关注
  • 7
    点赞
  • 踩
  • 37
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
实战二：基于TF-IDF与逻辑回归模型实现文本实体关系抽取 代码+数据（非常详细可作为毕设）
06-28 254
实战二：基于TF-IDF与逻辑回归模型实现文本实体关系抽取 代码+数据（非常详细可作为毕设）
实体关系抽取：BiLSTM + Attention (含代码+详细注释)
Unyielding will
10-26 2万+
数据集介绍 本文采用的是一份中文数据集（数据质量不高，我们主要目的是展现实体关系抽取过程，掌握方法后可以用于高质量数据集上） 每个样例格式如下： 实体1 实体2 实体间关系 句子xxxxxxxxxxxxxxxxx 示例： 郭全宝 郭启儒 合作 、郭全宝）、我是家长（侯宝林、郭启儒）、武松打虎（侯宝林、郭全宝）、戏剧杂谈（侯宝林、郭启儒）、 数据集共1...
零基础入门--中文实体关系抽取（BiLSTM+attention，含代码）
热门推荐
10-07 4万+
前面写过一片实体抽取的入门，实体关系抽取就是在实体抽取的基础上，找出两个实体之间的关系。 本文使用的是BiLSTM+attention模型，代码在这里，不定期对代码进行修改添加优化。 数据处理 其实数据处理的方法有很多，我用的是近两年英文论文使用的比较多的词向量+位置向量的方法。 中文实体关系抽取的数据实在是太难找了，我现在只有忘记在哪里找到的一个人物关系数据集。希望同学们能分享一些其他的数据集。...
关系抽取任务常用数据集介绍
最新发布
2301_78524903的博客
04-14 370
该数据集定义了9种关系类型，并考虑了实体之间关系的方向。此外，还包括了一个“Other”关系，用于表示不属于前面9种关系的情况。它提供了大量的训练数据，有助于训练出高效的关系抽取模型。这些数据集为关系抽取任务的研究者提供了宝贵的资源，可用于开发、训练和评估关系抽取模型。关系抽取任务中常用的数据集有多个，它们为研究者提供了丰富的标注数据，用于训练和评估关系抽取模型。：这个数据集包含与新闻和邮件相关的文档，其中定义了7大类25小类的关系。它为关系抽取任务提供了丰富的实体和实体之间的关系标注。
实体关系抽取
08-08
实体关系抽取
【NLP】基于神经网络PCNN（Piece-Wise-CNN）的关系抽取模型
让算法融入生活，改变生活！
08-21 2615
总得来说，在限定域的pipline形式的关系抽取中，使用分段的最大池化能够减少人为特征提取的操作，再引入远程监督的内容后，使用多实例学习的方式在一定程度上也能够减少远程监督引入的错误，使得关系抽取的整体效果达到当时的sota水平。当然也存在不足之处，多实例学习仅从某个实体对句子中挑选最可能的句子进行反向传播计算，这也必然造成信息的大量损失。
【实体关系抽取】之——OneRel代码学习笔记（一）
m0_62339601的博客
07-04 806
OnRel代码学习笔记（一）
NLP-实体&关系联合抽取-2021：GPLinker
u013250861的博客
10-22 1767
（即subject, predicate, object)的抽取，但落到具体实现上，它实际是“五元组”这是长度的四次方级别的计算量，实际情况下难以实现，所以必须做一些简化。然而，直接枚举所有的五元组数目太多，假设句子长度为。的约束，所有五元组的数目也有。关系抽取乍看之下是三元组。
SQL_Server_2008之ETL技术详解.docx
03-12
在数据仓库和商业智能领域，ETL（Extract, Transform, Load）是核心过程，它涉及从不同数据源抽取数据、转换数据以适应目标系统的要求，以及加载数据到数据仓库或数据湖。SQL Server 2008 提供了强大的ETL工具，即...
大数据的四大方面及十五大关键技术详解.docx
10-25
数据变换：处理抽取上来的数据中存在的不一致的过程，包括数据名称及格式的统一和数据仓库中存在源数据库中可能不存在的数据。 D. 数据规约：在尽可能保持数据原貌的前提下，最大限度地精简数据量，包括数据方聚集...
Python-用TensorFlow实现神经网络实体关系抽取
08-11
用TensorFlow实现神经网络实体关系抽取
大数据处理的五大关键技术及其应用.pdf
11-17
2. **大数据预处理**：预处理包括数据抽取、清洗等操作，目的是将复杂、多样的数据转换为统一格式，去除无用或错误的信息，确保数据的质量和准确性。 3. **大数据存储及管理**：存储技术涉及分布式文件系统、去冗余...
004 实战四：手把手教你实现数字识别1
08-08
KNN的实现涉及到数据预处理、距离计算、排序、类别统计等步骤。 6. **优化策略** - 为了提高效率，可以使用kd树、球树等数据结构加速邻近点搜索。 - 采用降维技术如PCA（主成分分析）减少计算复杂度。 - 通过...
rock聚类算法的实现.docx
05-07
ROCK 聚类算法实现详解 ROCK 聚类算法是 Sudipno Guha 等于 1999 年提出的一个著名的面向分类属性数据的聚类算法，其突出贡献是采用公共近邻（链接）数的全局信息作为评价数据点间相关性的度量标准，而不是传统的...
BERT：代码解读、实体关系抽取实战
满腹的小不甘
10-31 1万+
目录 前言 一、BERT的主要亮点 1. 双向Transformers 2.句子级别的应用 3.能够解决的任务 二、BERT代码解读 1. 数据预处理 1.1 InputExample类 1.2 InputFeatures类 1.3 DataProcessor 重点 1.4 convert_single_example 1.5 file_based_conver...
用通俗易懂的方式讲解：实体关系抽取入门教程
2201_75499313的博客
01-01 858
在自然语言处理领域，关系通常主要指代文本中实体之间的联系，如语法关系、语义关系等。通常将实体间的关系形式化地描述为关系三元组, 其中E指的是实体类型，R为的是关系描述类型。基于以上的定义，可以直观地将关系抽取任务分成３个关键的模块：命名实体识别：是指识别文本中具有特定意义的实体，主要包括人名、地名、机构名、专有名词等触发词识别：对触发实体关系的词进行分类，识别出是触发词还是非触发词，判定抽取出的关系是正类还是负类；关系抽取模块：从识别出的实体中抽取实体间的语义关系；
数据平民化之路（二）— 实体关系抽取
colorknight的专栏
03-05 1845
通过本平台集成的实体抽取算子（不限于Paddle）来进行数据抽取，总体来看，使用操作上比较简单，不需要太多的知识积累，降低了对数据从业人员自身技能的标准，可以快速的应用在社会化数据的挖掘场景中来。举个例子，在政务领域，某市长信箱的负责人员需要每天处理各类意见、建议、投诉、举报等问题，仅靠肉眼很难从如此大量的内容中获取价值信息，这就需要信息抽取技术，来快速提取关键信息，如举报中的人名、时间、地点、问题等，帮助工作人员掌握举报要素，并快速处理。我们的目标就是尽可能得抽取同类关系数据。
BERT实体关系联合抽取Python代码
05-26
下面是一个简单的BERT实体关系联合抽取的Python代码示例： ```python import torch import transformers import numpy as np # 加载预训练的BERT模型和分词器 tokenizer = transformers.BertTokenizer.from_pretrained('bert-base-uncased') model = transformers.BertForSequenceClassification.from_pretrained('bert-base-uncased', num_labels=2) # 定义实体关系类别 labels = ['NO_RELATIONSHIP', 'RELATIONSHIP'] # 定义样本句子和实体位置 text = "The company Apple was founded by Steve Jobs and Steve Wozniak." entity1 = (4, 9, 'Apple') entity2 = (32, 42, 'Steve Jobs') # 对样本进行分词和编码 encoded_dict = tokenizer.encode_plus( text, text_pair=None, add_special_tokens=True, truncation_strategy='longest_first', max_length=128, padding='max_length', return_attention_mask=True, return_tensors='pt' ) # 获取实体位置的相对编码位置 entity1_start = np.where(encoded_dict['input_ids'] == tokenizer.encode(entity1[2], add_special_tokens=False)[0])[0][0] entity1_end = entity1_start + len(tokenizer.encode(entity1[2], add_special_tokens=False)) - 1 entity2_start = np.where(encoded_dict['input_ids'] == tokenizer.encode(entity2[2], add_special_tokens=False)[0])[0][0] entity2_end = entity2_start + len(tokenizer.encode(entity2[2], add_special_tokens=False)) - 1 # 构造输入张量 input_ids = encoded_dict['input_ids'] attention_mask = encoded_dict['attention_mask'] token_type_ids = encoded_dict['token_type_ids'] entity1_mask = [0] * len(input_ids) for i in range(entity1_start, entity1_end + 1): entity1_mask[i] = 1 entity2_mask = [0] * len(input_ids) for i in range(entity2_start, entity2_end + 1): entity2_mask[i] = 1 # 转换为PyTorch张量 input_ids = torch.tensor(input_ids).unsqueeze(0) attention_mask = torch.tensor(attention_mask).unsqueeze(0) token_type_ids = torch.tensor(token_type_ids).unsqueeze(0) entity1_mask = torch.tensor(entity1_mask).unsqueeze(0) entity2_mask = torch.tensor(entity2_mask).unsqueeze(0) # 前向传播 outputs = model( input_ids=input_ids, attention_mask=attention_mask, token_type_ids=token_type_ids, labels=None, entity1_mask=entity1_mask, entity2_mask=entity2_mask ) # 预测实体关系类别 logits = outputs[0] _, predicted = torch.max(logits, 1) relationship = labels[predicted.item()] print("实体1：", entity1[2]) print("实体2：", entity2[2]) print("实体关系：", relationship) ``` 需要注意的是，上述代码仅供参考，具体实现可能因数据集、模型和任务不同而有所变化。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值