知识图谱预训练数据转化(附源码)

源码

#encoding : utf8

import json

with open(r’name’,‘r’,encoding=‘utf8’) as fr:
with open(r’name1.txt’,‘a’,encoding=‘utf8’) as fw:
for line in fr:
data = line.split(’\t’)
if(len(data) == 6):
train_data = dict()
train_data[‘entity1Pos’] = data[0].strip()
train_data[‘entity1’] = data[1].strip()
train_data[‘entity2Pos’] = data[2].strip()
train_data[‘entity2’] = data[3].strip()
train_data[‘statement’] = data[4].strip()
train_data[‘relation’] = data[5].strip()
train_data_json = json.dumps(train_data,ensure_ascii=False)
fw.write(train_data_json+"\n")

数据格式转换 txt 转化为 json 格式

一.txt抓取的数据格式：

     10	穆罕默德	70	人类	"伊玛目阿布·优素福和穆罕默德曾说瓦合甫意味着某物件的佔用在某程度上使该物件成为了宗教财产，原有者会失去对该物件的权利，用之于真主所创造出来的人类身上。"	instance of

29 丙烯 20 烯烃 “这类有机聚合物通常由许多相同或不同的简单烯烃分子（如乙烯、丙烯、1-丁烯、1-戊烯、1-己烯、1-辛烯、4-甲基-1-戊烯等α-烯烃以及某些环烯烃）聚合形成。” subclass of
29 丙烯 64 烯烃 “这类有机聚合物通常由许多相同或不同的简单烯烃分子（如乙烯、丙烯、1-丁烯、1-戊烯、1-己烯、1-辛烯、4-甲基-1-戊烯等α-烯烃以及某些环烯烃）聚合形成。” subclass of
34 丁烯 20 烯烃 “这类有机聚合物通常由许多相同或不同的简单烯烃分子（如乙烯、丙烯、1-丁烯、1-戊烯、1-己烯、1-辛烯、4-甲基-1-戊烯等α-烯烃以及某些环烯烃）聚合形成。” subclass of
34 丁烯 64 烯烃 “这类有机聚合物通常由许多相同或不同的简单烯烃分子（如乙烯、丙烯、1-丁烯、1-戊烯、1-己烯、1-辛烯、4-甲基-1-戊烯等α-烯烃以及某些环烯烃）聚合形成。” subclass of
68 风扇 83 机械 “冷却室两侧设有两套独立的循环冷却水散热器单节，分别用于冷却来自柴油机和机油热交换器中的循环水；冷却室顶部装有一个直径1.4米的轴流式冷却风扇，该冷却风扇采用齿轮箱直接机械传动。” subclass of
74 风扇 83 机械 “冷却室两侧设有两套独立的循环冷却水散热器