[数据处理]转换json到DataFrame

为了节约时间，避免下载yelp数据集花太久，直接在kaggle的yelp数据集中使用kernal，结果在读取json格式的数据到DataFrame中卡了半天，一读取就内存爆炸。
read()和readlines()一旦出现就爆炸。
readline()可以用。
琢磨难道是真的数据量太大了？

t = open('/kaggle/input/yelp-dataset/yelp_academic_dataset_business.json')
b = t.readline()
pd.DataFrame(json.loads(b))

这样一行一行读取，补充进DataFrame中，写个循环即可搞定

转念一想不对，整个数据集才3G多，我读个business怎么就能爆炸，重启kernal两次后再试终于没问题。有的时候需要有点坚持。
正确又简单的读取方式

with open('/kaggle/input/yelp-dataset/yelp_academic_dataset_business.json','r') as f:
    raw_text = f.readlines()
df = pd.DataFrame([json.loads(i) for i in raw_text])
#最好使用with open减少点莫名其妙的错误

再补充一种读取指定数量的json到DataFrame的办法。
f = open(’/kaggle/input/yelp-dataset/yelp_academic_dataset_review.json’)
li = []
for i in range(10000):
li.append(json.loads(f.readline()))
f.close()
df = pd.DataFrame(li)

同理如果生成随机数到list，再循环list，即可做到随机读取指定条数的json到DataFrame