Python数据处理_将json文件处理为txt文件

爱敲代码的小雨

已于 2023-02-24 14:32:00 修改

阅读量1k

点赞数

分类专栏： NLP 代码笔记文章标签： python json 开发语言

于 2023-02-24 14:31:51 首次发布

本文链接：https://blog.csdn.net/qq_48278620/article/details/129200156

版权

NLP 同时被 2 个专栏收录

13 篇文章 1 订阅

订阅专栏

代码笔记

1 篇文章 0 订阅

订阅专栏

该文介绍了一系列Python函数，用于从JSON文件按行读取数据到列表，分割列表为训练集和测试集，进行JSON数据集格式转换，并将转换后的内容写入.txt文件。主要涉及json模块的loads和dumps方法，以及处理中文字符的技巧。

摘要由CSDN通过智能技术生成

1.将json数据按行读取到列表中

def loaddata(path):
    jsonlist = []
    with open(path,encoding='utf-8') as file:
        for line in file.readlines():
            line = json.loads(line) # 将line数据格式化为字典
            line = json.dumps(line, ensure_ascii=False) # 将字典转化为字符串，ensure_ascii=False用于处理中文字符
            jsonlist.append(line)
    return jsonlist

2.分割列表中的数据为训练集和测试集

def datasplit(data, num_train):
    train = data[:num_train]
    dev = data[num_train:]
    return train, dev

3.json数据集格式转换

def json_conversion(file_path):
    json_sentences = []
    with open(file=file_path, encoding='utf-8') as f:
        data = f.readlines() # 读取所有行数据
        for record in tqdm(data, total=len(data)): # 遍历得到每行数据
            enity_relation_list = []
            record = record.strip('\n')  # 删除结尾的换行符
            record = json.loads(record) # 转换为字典格式
            text = record['text']
            spo_list = record['spo_list']
            for spo in spo_list: # 遍历三元组列表
                predicate = spo['predicate']
                object = spo['object']['@value']
                subject = spo['subject']
                enity_relation = {"em1Text": subject, "em2Text": object, "label": predicate}
                enity_relation_list.append(enity_relation)
            json_text = {"sentText": text, "relationMentions": enity_relation_list} # 按字典格式重新保存
            json_text = json.dumps(json_text, ensure_ascii=False) # 将字典格式转换为字符串格式，ensure_ascii=False用于处理中文字符
            json_sentences.append(json_text)
    return json_sentences

4.将列表中的数据写入.txt文件中

def write_data(path, data):
    with open(path, "w", encoding="utf-8") as fw:
        for ele in tqdm(data, total=len(data)):
            fw.write(str(ele) + "\n")