知识图谱预训练数据转化(附源码)

#encoding : utf8

import json
with open(r’name’,‘r’,encoding=‘utf8’) as fr:
with open(r’name1.txt’,‘a’,encoding=‘utf8’) as fw:
for line in fr:
data = line.split(’\t’)
if(len(data) == 6):
train_data = dict()
train_data[‘entity1Pos’] = data[0].strip()
train_data[‘entity1’] = data[1].strip()
train_data[‘entity2Pos’] = data[2].strip()
train_data[‘entity2’] = data[3].strip()
train_data[‘statement’] = data[4].strip()
train_data[‘relation’] = data[5].strip()
train_data_json = json.dumps(train_data,ensure_ascii=False)
fw.write(train_data_json+"\n")

数据格式转换 txt 转化为 json 格式

一.txt抓取的数据格式：

 10	穆罕默德	70	人类	"伊玛目阿布·优素福和穆罕默德曾说瓦合甫意味着某物件的佔用在某程度上使该物件成为了宗教财产，原有者会失去对该物件的权利，用之于真主所创造出来的人类身上。"	instance of

29 丙烯 20 烯烃 “这类有机聚合物通常由许多相同或不同的简单烯烃分子（如乙烯、丙烯、1-丁烯、1-戊烯、1-己烯、1-辛烯、4-甲基-1-戊烯等α-烯烃以及某些环烯烃）聚合形成。” subclass of
29 丙烯 64 烯烃 “这类有机聚合物通常由许多相同或不同的简单烯烃分子（如乙烯、丙烯、1-丁烯、1-戊烯、1-己烯、1-辛烯、4-甲基-1-戊烯等α-烯烃以及某些环烯烃）聚合形成。” subclass of
34 丁烯 20 烯烃 “这类有机聚合物通常由许多相同或不同的简单烯烃分子（如乙烯、丙烯、1-丁烯、1-戊烯、1-己烯、1-辛烯、4-甲基-1-戊烯等α-烯烃以及某些环烯烃）聚合形成。” subclass of
34 丁烯 64 烯烃 “这类有机聚合物通常由许多相同或不同的简单烯烃分子（如乙烯、丙烯、1-丁烯、1-戊烯、1-己烯、1-辛烯、4-甲基-1-戊烯等α-烯烃以及某些环烯烃）聚合形成。” subclass of
68 风扇 83 机械 “冷却室两侧设有两套独立的循环冷却水散热器单节，分别用于冷却来自柴油机和机油热交换器中的循环水；冷却室顶部装有一个直径1.4米的轴流式冷却风扇，该冷却风扇采用齿轮箱直接机械传动。” subclass of
74 风扇 83 机械 “冷却室两侧设有两套独立的循环冷却水散热器单节，分别用于冷却来自柴油机和机油热交换器中的循环水；冷却室顶部装有一个直径1.4米的轴流式冷却风扇，该冷却风扇采用齿轮箱直接机械传动。” subclass of
66 风扇 58 机械 “冷却室两侧设有两套独立的循环冷却水散热器单节，分别用于冷却来自柴油机和机油热交换器中的循环水，冷却室顶部装有一个直接机械传动的轴流式风扇。” subclass of
0 锐钛矿 16 二氧化钛 “锐钛矿（英语：Anatase）是二氧化钛的五种矿物形式之一， 它的名称来源于希腊语。” instance of
20 穆罕默德 201 人类 “而在西据17世纪摩洛哥历史学家艾哈迈德·穆罕默德·艾马卡里（Ahmed Mohammed al-Maqqari）的记述，早在公元875年就有大量目击者记录，科尔多瓦的摩尔人博学家阿拔斯·伊本·弗纳斯（Abbas Ibn Firnas），当时已经65岁，从科尔多瓦的城墙起飞，飞行几百尺后又回到了出发点，但他在着陆时伤到了后背，无法再进行第二次飞行，并在12年后因后背的伤势而去世，但这仍然被视为航空史上人类第一次成功的飞行。” instance of
3 蛆 0 幼虫 “幼虫似蛆，可长至长7～10毫米，乳白或淡红色。” subclass of
6 心脏瓣膜 18 心脏 “这样可以检测心脏瓣膜区域功能、左右侧心脏不正常联系、瓣膜返流、以及心脏输出量的计算等。” subclass of
6 心脏瓣膜 33 心脏 “这样可以检测心脏瓣膜区域功能、左右侧心脏不正常联系、瓣膜返流、以及心脏输出量的计算等。” subclass of
23 原核生物 47 生物 “虽然比起80S核糖体，哺乳动物的线粒体核糖体与原核生物的70S核糖体更相似，它们仍能因对蛋白质生物合成抑制剂类抗生素敏感程度的不同而被区分开来。” parent taxon
19 社会学 10 社会科学 “何建宗获香港中文大学社会科学学士（主修社会学）、伦敦政治经济学院环境评估硕士及香港科技大学工商管理硕士。” subclass of
12 人体 26 身体 “正常情况下，碳水化合物经人体吸收后会转化为葡萄糖运往身体各处及供给能量，尤其是用于维持大脑运作。” subclass of
65 坚果 13 食物 “因此在饮食上会排除高醣类的食物，例如谷类、面包，意大利面、其他富含淀粉或糖份的蔬菜水果、以及糖，饮食上也会增加富含脂肪的食物，例如坚果、奶油、牛油、椰子油、牛油果等等。” subclass of
65 坚果 60 食物 “因此在饮食上会排除高醣类的食物，例如谷类、面包，意大利面、其他富含淀粉或糖份的蔬菜水果、以及糖，饮食上也会增加富含脂肪的食物，例如坚果、奶油、牛油、椰子油、牛油果等等。” subclass of
65 微生物 53 生物 “据了解，该所分为流行病学、细菌学、免疫学、生化学、产程学以及病毒学6个科研小组，同时拥有第四级（最高等级）生物安全实验室，主要负责微生物生产以及疫苗的培养等生化防护工作。” subclass of
64 导弹 46 火箭 “但实际状况则与声称相反，随着中科院等军事研究单位科技发展有所建树，军营一级的部队已可配备可用火箭发射器发射的化学弹药，一些飞机和导弹也具有化学战攻击能力。” subclass of
2 蔬菜 19 植物 “原生蔬菜，尤其是在亚洲和非洲地区的原生植物，亦是亚蔬中心另外一项研究重点。” subclass of

二，格式转为json
{“entity1Pos”: “10”, “entity1”: “穆罕默德”, “entity2Pos”: “70”, “entity2”: “人类”, “statement”: ““伊玛目阿布·优素福和穆罕默德曾说瓦合甫意味着某物件的佔用在某程度上使该物件成为了宗教财产，原有者会失去对该物件的权利，用之于真主所创造出来的人类身上。””, “relation”: “instance of”}
{“entity1Pos”: “29”, “entity1”: “丙烯”, “entity2Pos”: “20”, “entity2”: “烯烃”, “statement”: ““这类有机聚合物通常由许多相同或不同的简单烯烃分子（如乙烯、丙烯、1-丁烯、1-戊烯、1-己烯、1-辛烯、4-甲基-1-戊烯等α-烯烃以及某些环烯烃）聚合形成。””, “relation”: “subclass of”}
{“entity1Pos”: “29”, “entity1”: “丙烯”, “entity2Pos”: “64”, “entity2”: “烯烃”, “statement”: ““这类有机聚合物通常由许多相同或不同的简单烯烃分子（如乙烯、丙烯、1-丁烯、1-戊烯、1-己烯、1-辛烯、4-甲基-1-戊烯等α-烯烃以及某些环烯烃）聚合形成。””, “relation”: “subclass of”}
{“entity1Pos”: “34”, “entity1”: “丁烯”, “entity2Pos”: “20”, “entity2”: “烯烃”, “statement”: ““这类有机聚合物通常由许多相同或不同的简单烯烃分子（如乙烯、丙烯、1-丁烯、1-戊烯、1-己烯、1-辛烯、4-甲基-1-戊烯等α-烯烃以及某些环烯烃）聚合形成。””, “relation”: “subclass of”}
{“entity1Pos”: “34”, “entity1”: “丁烯”, “entity2Pos”: “64”, “entity2”: “烯烃”, “statement”: ““这类有机聚合物通常由许多相同或不同的简单烯烃分子（如乙烯、丙烯、1-丁烯、1-戊烯、1-己烯、1-辛烯、4-甲基-1-戊烯等α-烯烃以及某些环烯烃）聚合形成。””, “relation”: “subclass of”}
{“entity1Pos”: “68”, “entity1”: “风扇”, “entity2Pos”: “83”, “entity2”: “机械”, “statement”: ““冷却室两侧设有两套独立的循环冷却水散热器单节，分别用于冷却来自柴油机和机油热交换器中的循环水；冷却室顶部装有一个直径1.4米的轴流式冷却风扇，该冷却风扇采用齿轮箱直接机械传动。””, “relation”: “subclass of”}
{“entity1Pos”: “74”, “entity1”: “风扇”, “entity2Pos”: “83”, “entity2”: “机械”, “statement”: ““冷却室两侧设有两套独立的循环冷却水散热器单节，分别用于冷却来自柴油机和机油热交换器中的循环水；冷却室顶部装有一个直径1.4米的轴流式冷却风扇，该冷却风扇采用齿轮箱直接机械传动。””, “relation”: “subclass of”}
{“entity1Pos”: “66”, “entity1”: “风扇”, “entity2Pos”: “58”, “entity2”: “机械”, “statement”: ““冷却室两侧设有两套独立的循环冷却水散热器单节，分别用于冷却来自柴油机和机油热交换器中的循环水，冷却室顶部装有一个直接机械传动的轴流式风扇。””, “relation”: “subclass of”}
{“entity1Pos”: “0”, “entity1”: “锐钛矿”, “entity2Pos”: “16”, “entity2”: “二氧化钛”, “statement”: ““锐钛矿（英语：Anatase）是二氧化钛的五种矿物形式之一， 它的名称来源于希腊语。””, “relation”: “instance of”}
{“entity1Pos”: “20”, “entity1”: “穆罕默德”, “entity2Pos”: “201”, “entity2”: “人类”, “statement”: ““而在西据17世纪摩洛哥历史学家艾哈迈德·穆罕默德·艾马卡里（Ahmed Mohammed al-Maqqari）的记述，早在公元875年就有大量目击者记录，科尔多瓦的摩尔人博学家阿拔斯·伊本·弗纳斯（Abbas Ibn Firnas），当时已经65岁，从科尔多瓦的城墙起飞，飞行几百尺后又回到了出发点，但他在着陆时伤到了后背，无法再进行第二次飞行，并在12年后因后背的伤势而去世，但这仍然被视为航空史上人类第一次成功的飞行。””, “relation”: “instance of”}
{“entity1Pos”: “3”, “entity1”: “蛆”, “entity2Pos”: “0”, “entity2”: “幼虫”, “statement”: ““幼虫似蛆，可长至长7～10毫米，乳白或淡红色。””, “relation”: “subclass of”}
{“entity1Pos”: “6”, “entity1”: “心脏瓣膜”, “entity2Pos”: “18”, “entity2”: “心脏”, “statement”: ““这样可以检测心脏瓣膜区域功能、左右侧心脏不正常联系、瓣膜返流、以及心脏输出量的计算等。””, “relation”: “subclass of”}
{“entity1Pos”: “6”, “entity1”: “心脏瓣膜”, “entity2Pos”: “33”, “entity2”: “心脏”, “statement”: ““这样可以检测心脏瓣膜区域功能、左右侧心脏不正常联系、瓣膜返流、以及心脏输出量的计算等。””, “relation”: “subclass of”}
{“entity1Pos”: “23”, “entity1”: “原核生物”, “entity2Pos”: “47”, “entity2”: “生物”, “statement”: ““虽然比起80S核糖体，哺乳动物的线粒体核糖体与原核生物的70S核糖体更相似，它们仍能因对蛋白质生物合成抑制剂类抗生素敏感程度的不同而被区分开来。””, “relation”: “parent taxon”}
{“entity1Pos”: “19”, “entity1”: “社会学”, “entity2Pos”: “10”, “entity2”: “社会科学”, “statement”: ““何建宗获香港中文大学社会科学学士（主修社会学）、伦敦政治经济学院环境评估硕士及香港科技大学工商管理硕士。””, “relation”: “subclass of”}
{“entity1Pos”: “12”, “entity1”: “人体”, “entity2Pos”: “26”, “entity2”: “身体”, “statement”: ““正常情况下，碳水化合物经人体吸收后会转化为葡萄糖运往身体各处及供给能量，尤其是用于维持大脑运作。””, “relation”: “subclass of”}
{“entity1Pos”: “65”, “entity1”: “坚果”, “entity2Pos”: “13”, “entity2”: “食物”, “statement”: ““因此在饮食上会排除高醣类的食物，例如谷类、面包，意大利面、其他富含淀粉或糖份的蔬菜水果、以及糖，饮食上也会增加富含脂肪的食物，例如坚果、奶油、牛油、椰子油、牛油果等等。””, “relation”: “subclass of”}
{“entity1Pos”: “65”, “entity1”: “坚果”, “entity2Pos”: “60”, “entity2”: “食物”, “statement”: ““因此在饮食上会排除高醣类的食物，例如谷类、面包，意大利面、其他富含淀粉或糖份的蔬菜水果、以及糖，饮食上也会增加富含脂肪的食物，例如坚果、奶油、牛油、椰子油、牛油果等等。””, “relation”: “subclass of”}
{“entity1Pos”: “65”, “entity1”: “微生物”, “entity2Pos”: “53”, “entity2”: “生物”, “statement”: ““据了解，该所分为流行病学、细菌学、免疫学、生化学、产程学以及病毒学6个科研小组，同时拥有第四级（最高等级）生物安全实验室，主要负责微生物生产以及疫苗的培养等生化防护工作。””, “relation”: “subclass of”}
{“entity1Pos”: “64”, “entity1”: “导弹”, “entity2Pos”: “46”, “entity2”: “火箭”, “statement”: ““但实际状况则与声称相反，随着中科院等军事研究单位科技发展有所建树，军营一级的部队已可配备可用火箭发射器发射的化学弹药，一些飞机和导弹也具有化学战攻击能力。””, “relation”: “subclass of”}
{“entity1Pos”: “2”, “entity1”: “蔬菜”, “entity2Pos”: “19”, “entity2”: “植物”, “statement”: ““原生蔬菜，尤其是在亚洲和非洲地区的原生植物，亦是亚蔬中心另外一项研究重点。””, “relation”: “subclass of”}