使用pandas的to_json方法将csv文件转换成一行一条记录数据的json文件

项目场景：

uniCloud云数据库导入数据的限制
uniCloud对数据导入导出和备份说明
注意
目前导入文件最大限制为50MB
导入导出文件无法保留索引和schema
导入导出csv时数据类型会丢失，即所有字段均会作为字符串导入
冲突处理模式为设定记录_id冲突时的处理方式，insert表示冲突时依旧导入记录但是是新插入一条，upsert表示冲突时更新已存在的记录
这里说的json文件并不是标准的json格式，而是形如下面这样每行一个json格式的数据库记录的文件

{"a":1}
{"a":2}

因为csv文件导入uniCloud云数据库会丢失数据类型,像数组会被变成字符串,不方便使用

如果字段里有数组被字符串包裹 可以使用以下代码转换

解决方案：

import pandas as pd
def fun (val):
  return eval(val)
file = pd.read_csv('a.csv', header=0)
final_df = pd.DataFrame(file)
# 以下是将被字符串包裹的数组转成数组
final_df['arr'] = final_df.apply(lambda i : fun(i.arr), axis=1)
final_df.to_json('b.json',orient='records', force_ascii=False,lines='orient')

to_json 与可选参数与介绍：

参考to_json的官方文档

数据前后对比

// 转换前的数据
id,title,genres
167,电视剧,"[{"id":1,"name":"剧情"}]"
123,电影,"[{"id":2,"name":"爱情"},{"id":3,"name":"历史"}]"

// 转换后的数据
{"id":167,"title":"电视剧","genres":[{"id":1,"name":"剧情"}]}
{"id":123,"title":"电影","genres":[{"id":2,"name":"爱情"},{"id":3,"name":"历史"}]}