Huggingface的parquet数据 转 json文件

import pyarrow.parquet as pq

# 读取Parquet文件
table = pq.read_table('train-00000-of-00001-2ea3039ca4da89f8.parquet')

import pandas as pd

# 将Parquet数据转换为DataFrame
df = table.to_pandas()


# 将DataFrame转换为JSON格式
json_data = df.to_json(orient='records', lines=True)

# 将JSON数据写入文件
with open('data.json', 'w') as f:
    f.write(json_data)