对Yelp dataset 中的数据进行json格式转csv操作

最新推荐文章于 2023-07-27 22:02:37 发布

吱吱_

最新推荐文章于 2023-07-27 22:02:37 发布

阅读量3.9k

点赞数 3

分类专栏：推荐系统

本文链接：https://blog.csdn.net/qq_38595323/article/details/91632111

版权

本文介绍如何将Yelp dataset的business.json和review.json文件转换为CSV格式。作者分享了自编的jsontocsv_business.py和jsontocsv_review.py脚本，特别提到在转换过程中，删除了'state', 'postal_code', 'is_open', 'attributes'四列，并保留了Phoenix地区的' Restaurants'相关数据。转换后，business.json从131MB减小到940KB，而review.json从4.97GB减小到4.39GB。" 122224531,10265908,华米科技GTR 3 Pro：智能血压手表引领新趋势,"['智能穿戴', '健康监测', '血压计', '华米科技', '智能手表']

摘要由CSDN通过智能技术生成

Yelp dataset原始数据集下载地址为：https://www.yelp.com/dataset/documentation/main
本人用到的两个数据集为yelp_photos.tar和yelp_dataset.tar，两个压缩包加一块大约10.3GB。
yelp_dataset.tar解压后的文件
在GitHub上浏览基于yelp dataset数据集做的推荐系统项目时，发现人们用csv格式的数据集处理数据更加方便。而在GitHub上找到的json转csv的代码并不能达到理想转换效果，于是自己编写了jsontocsv_business.py和jsontocsv_review.py程序，此处贡献前者与大家交流学习。

import csv
import json
import sys
import os
import pandas as pd
import numpy as np
json_file_path='/home/yelp_dataset/business.json'
csv_file_path='/home/yelp_dataset/business.csv'
#打开business.json文件,取出第一行列名
with open(json_file_path,'r',encoding='utf-8') as fin:
    for line in fin:
        line_contents = json.loads(line)
        headers=line_contents.keys()
        break
    print