Python实现json转csv格式

最新推荐文章于 2024-05-31 09:44:51 发布
最新推荐文章于 2024-05-31 09:44:51 发布
阅读量9.9k 收藏 26
点赞数 9
分类专栏： 算法 机器学习 心得感悟
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Terrances/article/details/85935399
版权

利用Python实现json格式转换为csv文件格式

前言

本文是学校的课程设计，这里我没有用封装好的json库来实现，而是把读进来的文件当一个字符串来处理，核心函数其实是python的eval()类型转换函数。

什么是 JSON?

我们要考虑到json格式下key-value对的结构是无序的。JSON:JavaScript Object Notation(JavaScript 对象表示法)，是存储和交换文本信息的语法。有点类似 XML，JSON 比 XML 更小、更快，更易解析，同时删除了不必要的元素信息。

读取文件

首先读取文件数据到data_str, 这里注意文件编码，否则会出现乱码。

with open('final.json', 'r', encoding='UTF-8') as file_in:
    data_str = file_in.read()

观察一下读取的json内容

print("字符串头: ", data_str[:100])
print("字符串尾: ", data_str[-100:])

字符串头:  {
    "data":{
        "currentTime":1546510953211,
        "pageCount":4,
        "page":3,
       
字符串尾:    "brandId":157402,
                "isXbProduct":1
            }
        ]
    },
    "code":"0"
}

json文件格式

  1. 对象可以包含多个 key/value（键/值）对。
  2. key 必须是字符串，value 可以是合法的 JSON 数据类型（字符串, 数字, 对象, 数组, 布尔值或 null）。
  3. key 和 value 中使用冒号(:)分割。
  4. 每个 key/value 对使用逗号(,)分割。

替换元素

对json文件做一个替换，这里这样替换是有问题的，因为从前向后扫描的时候只有在引号外的元素才需要替换，可以对扫过的引号数量取模实现。

data_str = data_str.replace('true','True')
data_str = data_str.replace('false','False')
data_str = data_str.replace('null','None')
data_str = data_str.replace('\n','')

类型函数

判断当前的字符串属于哪个类型

def query_type(data):
    for ch in data:
        if ch == '{':
            return "dict"
        if ch == '[':
            return "list"
    return "value"

head函数的实现

遍历获得json的所有key作为csv的表头

data_head = []  # 这里要保证有序，可以用有序字典，映射的时候可以用dict
def get_json_head(data, loc=""):
    data = str(data)  # 将数据转换成字符串
    
    data_type = query_type(data)
    if data_type == "value":  # 如果是元素
        if loc[1:] not in data_head:
             data_head.append(loc[1:])
        return
    
    if data_type == "dict":  # 如果是字典
        data_dict = eval(data)
        for key in data_dict:
            get_json_head(data_dict[key], loc + "_" + key)
        return
    
    if data_type == "list":  # 如果是列表
        data_list = list(eval(data))
        for item in data_list:
            get_json_head(item, loc)
        return
        
get_json_head(data_str)
print(data_head[:10])
print(data_head[-10:])
print("表头数量:", len(data_head))

['data_currentTime', 'data_pageCount', 'data_page', 'data_pageSize', 'data_isNoStock', 'data_success', 'data_wareInfoList_name', 'data_wareInfoList_skuId', 'data_wareInfoList_imageUrl', 'data_wareInfoList_price']
['data_wareInfoList_seckillPromotion_minAmount', 'data_wareInfoList_seckillPromotion_maxAmount', 'data_wareInfoList_seckillPromotion_price', 'data_wareInfoList_seckillPromotion_promotionPrice', 'data_wareInfoList_promotionList_skuList_adWords', 'data_wareInfoList_limitcount', 'data_wareInfoList_limitHour', 'data_wareInfoList_promotionList_limitTime', 'data_wareInfoList_seckillPromotion_limitTime', 'code']
表头数量: 116

body内容的转换

data_head_dict保存转换后CSV的body内容

data_head_dict = {}
for head in data_head:
    # print(head)
    tmp = []
    for i in range(200):
        tmp.append("")
    data_head_dict[head] = tmp

宽度的拓展，这里实现的时候比较暴力。解决方案如下:

  1. 最后自底向上删空行
  2. 处理head的时候加tag记录行号
for key in data_head[:10]:
    # print(key, data_head_dict[key][:10])
    # print(key, len(data_head_dict[key]))
    print(key, data_head_dict[key][:10], len(data_head_dict[key]))
    pass

data_currentTime ['', '', '', '', '', '', '', '', '', ''] 200
data_pageCount ['', '', '', '', '', '', '', '', '', ''] 200
data_page ['', '', '', '', '', '', '', '', '', ''] 200
data_pageSize ['', '', '', '', '', '', '', '', '', ''] 200
data_isNoStock ['', '', '', '', '', '', '', '', '', ''] 200
data_success ['', '', '', '', '', '', '', '', '', ''] 200
data_wareInfoList_name ['', '', '', '', '', '', '', '', '', ''] 200
data_wareInfoList_skuId ['', '', '', '', '', '', '', '', '', ''] 200
data_wareInfoList_imageUrl ['', '', '', '', '', '', '', '', '', ''] 200
data_wareInfoList_price ['', '', '', '', '', '', '', '', '', ''] 200

row_now = 0
def get_json_table(data, loc="", rows=0):
    global row_now
    data = str(data)  # 将数据转换成字符串
    
    data_type = query_type(data)
    if data_type == "value":  # 如果是元素
        key = loc[1:]
        data_head_dict[key][rows] = data 
        return
    
    if data_type == "dict":  # 如果是字典
        data_dict = eval(data)
        for key in data_dict:
            get_json_table(data_dict[key], loc + "_" + key, rows)
        return
    
    if data_type == "list":  # 如果是列表
        data_list = list(eval(data))
        for i in range(len(data_list)):
            if i > 0:
                row_now += 1
            get_json_table(data_list[i], loc, row_now)
        return
        
get_json_table(data_str)

看一下表的内容是否正确

for key in data_head[:10]:
    # print(key, data_head_dict[key][:10])
    # print(key, len(data_head_dict[key]))
    print(key, data_head_dict[key][:10], len(data_head_dict[key]))
    pass

data_currentTime ['1546510953211', '', '', '', '', '', '', '', '', ''] 200
data_pageCount ['4', '', '', '', '', '', '', '', '', ''] 200
data_page ['3', '', '', '', '', '', '', '', '', ''] 200
data_pageSize ['10', '', '', '', '', '', '', '', '', ''] 200
data_isNoStock ['0', '', '', '', '', '', '', '', '', ''] 200
data_success ['True', '', '', '', '', '', '', '', '', ''] 200
data_wareInfoList_name ['【自营】【整箱】京华门 北京二锅头酒绿瓶 56度 清香风格 500ml*12瓶（产品包装升级随机发货）', '【自营】【整箱】喜力（Heineken）啤酒500ml*12听', '', '', '', '', '', '', '', ''] 200
data_wareInfoList_skuId ['100000388367', '7120050', '', '', '', '', '', '', '', ''] 200
data_wareInfoList_imageUrl ['//img10.360buyimg.com/n7/jfs/t1/8619/15/8670/256329/5c0f87a6E64dac15c/a1e17b14bb60ddc0.jpg', '//img10.360buyimg.com/n7/jfs/t18775/305/1764241768/131776/ab95ffad/5ad70385N5373f0dc.jpg', '', '', '', '', '', '', '', ''] 200
data_wareInfoList_price ['89.00', '86.00', '', '', '', '', '', '', '', ''] 200

输出CSV文件

with open('final_gbk.csv', 'w',encoding="gbk") as file_out:
    for head in data_head[:-1]:
        file_out.write(head)
        file_out.write(",")  # 逗号分隔
    file_out.write(data_head[-1] + "\n")  # 最后一个换行
    for i in range(200):
        for head in data_head[:-1]:
            file_out.write(data_head_dict[head][i])
            file_out.write(",")
        last_key = data_head[-1]  # 取最后一个head
        file_out.write(data_head_dict[last_key][i])
        file_out.write("\n")

以utf-8编码格式输出文件

with open('final_utf8.csv', 'w',encoding="utf-8") as file_out:
    for head in data_head[:-1]:
        file_out.write(head)
        file_out.write(",")  # 逗号分隔
    file_out.write(data_head[-1] + "\n")  # 最后一个换行
    for i in range(200):
        for head in data_head[:-1]:
            file_out.write(data_head_dict[head][i])
            file_out.write(",")
        last_key = data_head[-1]  # 取最后一个head
        file_out.write(data_head_dict[last_key][i])
        file_out.write("\n")

import pandas as pd
csv_data = pd.read_csv('final_utf8.csv')
csv_data.head(5)
data_currentTimedata_pageCountdata_pagedata_pageSizedata_isNoStockdata_successdata_wareInfoList_namedata_wareInfoList_skuIddata_wareInfoList_imageUrldata_wareInfoList_price...data_wareInfoList_seckillPromotion_minAmountdata_wareInfoList_seckillPromotion_maxAmountdata_wareInfoList_seckillPromotion_pricedata_wareInfoList_seckillPromotion_promotionPricedata_wareInfoList_promotionList_skuList_adWordsdata_wareInfoList_limitcountdata_wareInfoList_limitHourdata_wareInfoList_promotionList_limitTimedata_wareInfoList_seckillPromotion_limitTimecode
01.546511e+124.03.010.00.0True【自营】【整箱】京华门 北京二锅头酒绿瓶 56度 清香风格 500ml*12瓶（产品包装升级...1.000004e+11//img10.360buyimg.com/n7/jfs/t1/8619/15/8670/2...89.0...NaNNaNNaNNaNNaNNaNNaNNaNNaN0.0
1NaNNaNNaNNaNNaNNaN【自营】【整箱】喜力（Heineken）啤酒500ml*12听7.120050e+06//img10.360buyimg.com/n7/jfs/t18775/305/176424...86.0...NaNNaNNaNNaNNaNNaNNaNNaNNaNNaN
2NaNNaNNaNNaNNaNNaNNaNNaNNaNNaN...NaNNaNNaNNaNNaNNaNNaNNaNNaNNaN
3NaNNaNNaNNaNNaNNaNNaNNaNNaNNaN...NaNNaNNaNNaNNaNNaNNaNNaNNaNNaN
4NaNNaNNaNNaNNaNNaNNaNNaNNaNNaN...NaNNaNNaNNaNNaNNaNNaNNaNNaNNaN

5 rows × 116 columns

Terrances
关注
  • 9
    点赞
  • 踩
  • 26
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
利用python将json数据转换为csv格式的方法
12-24
假设.json文件中存储的数据为： {"type": "Point", "link": "http://www.dianping.com/newhotel/22416995", "coordinates": [116.37256372996957, 40.39798447055443], "category": "经济型", "name": "北京荷塘山庄", "count": "278", "address": "北京市怀柔区黄花城村安四路", "price": "380"} {"type": "Point", "link": "http://www.dianping.com/newhot
python实战——JSON转CSV
专注于前沿科技解读与实用技巧分享，致力于将复杂技术简单化
09-27 7938
将json格式的文件转换为csv格式的文件，用python写一个转换器
推荐一个强大的Shell工具：jsonv.sh —— 从JSON到CSV的转换神器！
最新发布
gitblog_00008的博客
05-31 358
推荐一个强大的Shell工具：jsonv.sh —— 从JSON到CSV的转换神器！ 项目地址:https://gitcode.com/archan937/jsonv.sh 项目介绍 在处理大量数据时，JSON和CSV是两种常见的格式。然而，当你需要在两者之间进行转换时，手动操作可能会变得繁琐。这就是jsonv.sh大显身手的时候了。这是一个基于Bash命令行的工具，用于将JSON数据快速、高效地...
【数据处理】JSON文件转CSV
weixin_45461943的博客
07-10 1238
将JSON格式的数据转化为CSV列表里面
1、json文件转csv文件
热门推荐
weixin_41395763的博客
04-03 1万+
目录 单个json转csv文件并保存 多个json文件转CSV文件并保存 知识点： json读操作 split(".")[0]表示分割".",[0]表示取第一个 单个json转csv文件并保存 import json import pandas as pd json1="C:/Users/S/Desktop/不同数据集U_RATIO(BP)/json/1.json" with open(json1, 'r', encoding='UTF-8') as file_in:
【python】python将json字符串导出excel | pandas处理json字符串保存为csv
CTRA®王大大技术中心
08-11 1500
python将json字符串导出excel | pandas处理json字符串保存为csv
Python-json2csv实现将jsoncsv文件转换工具
08-10
Python中的json2csv工具是一种非常实用的库，用于将JSON（JavaScript Object Notation）格式的数据转换为CSV（Comma Separated Values）格式。这个转换过程对于处理和分析大量结构化数据至关重要，因为CSV文件通常更...
Python实现csv文件转json文件
05-08
实现csv文件转json文件，适合Python后端开发者，将csv文件转为需要的json格式
python 课程表转 csv
07-05
我们讨论的是如何使用Python将课程表数据转换为CSV（Comma Separated Values）格式，这是一种广泛用于存储表格数据的标准文件格式，方便导入到各种电子表格软件如Microsoft Excel、Google Sheets等，甚至可以用于...
json转换csv的python实现
若云流风的专栏
12-21 1万+
一、需求 1.需求 想要从JAON文件转换成csv文件，进行数据处理。注意此json文件为多个json的合集。 2.测试json文件数据 {"t": "2017-12-20T10:53:51.582000+08:00", "a": 0, "b": 0, "c": 7, "d": 42, "e...
python将json数据转excel或csv
Habo_的博客
08-02 1521
pandas是python语言的一个扩展程序库，用于数据分析。将json数据转换为excel数据。python pandas模块。将json数据转换为csv数据。
JSON2CSV: 快速将JSON数据转换为CSV格式
gitblog_00097的博客
03-18 873
JSON2CSV: 快速将JSON数据转换为CSV格式 项目简介 JSON2CSV 是一个轻量级的Python脚本，可帮助您将JSON数据轻松转换为CSV格式。它允许您根据需要自定义列名，并支持多维数组。JSON2CSV旨在简化处理大量结构化数据的过程，使您可以更方便地分析和操作CSV文件。 应用场景 数据转换：将JSON格式的数据转换为适用于报表、数据分析或进一步处理的CSV格式。 数据清洗：...
json2csv: 快速将 JSON 数据转换为 CSV 格式
gitblog_00010的博客
03-08 930
json2csv: 快速将 JSON 数据转换为 CSV 格式 json2csv 是一个轻量级的 Python 脚本，用于将 JSON 数据转换为 CSV 格式。对于需要处理大量数据并进行分析或存储的开发者来说，这是一个非常实用的工具。 什么是 json2csv？ json2csv 是一个简单的命令行程序，可以将 JSON 文件转换为 CSV 文件。它可以解析嵌套的 JSON 对象，并将其转换为可...
如何使用python把json文件转换为csv文件
Sun's Blog
03-12 4392
文章目录了解json整体格式转换格式提取key和value使用pandas写入csv 了解json整体格式 这里有一段json格式的文件，存着全球陆地和海洋的每年异常气温(这里只选了一部分)：global_temperature.json { "description": { "title": "Global Land and Ocean Temperature Anomalies, January-December", "units": "Degrees Celsius", "
JSON文件转换为CSV或XLSX文件
2302_76597285的博客
03-22 2012
两种方法：将JSON文件转换为CSV文件和使用不同的库将JSON文件转换为XLSX文件。
【python】json转csv
m0_58358399的博客
08-04 555
需求：当同名文件夹下有多个json文件，批量转换到一个csv中。json中包含多层结构。
JSON格式的文件转csv
weixin_45461943的博客
09-14 3994
代码用于处理json格式的数据原理就是使用字典格式的数据承接，然后取键、值。
爬虫搞到的JSON数据如何保存到CSV文件？
Leviathan的博客
06-08 2439
map保存为csv import csv csv读取为map import csv
python json转csv
04-23
将JSON数据转换为CSV格式可以使用Python中的csv和json模块。下面是一个简单的示例代码： ```python import csv import json # 读取JSON文件 with open('data.json', 'r') as f: data = json.load(f) # 写入CSV文件 with open('data.csv', 'w') as f: writer = csv.writer(f) # 写入表头 headers = ['name', 'age', 'email'] writer.writerow(headers) # 写入数据 for row in data: writer.writerow([row['name'], row['age'], row['email']]) ``` 这段代码会将JSON文件转换为CSV文件，并将表头写入第一行。你也可以调整代码来适应你的JSON文件格式和CSV文件格式。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值