需要对一批谣言数据进行处理,该数据集是由清华大学自然语言处理与社会人文计算实验室整理的与疫情相关的谣言数据。
数据集的整体构成如下,共有324个文件,皆放在rumor_weibo文件夹下:
每个文件中存储着一个字典类型的数据(注意:字典并非放在列表中),该字典共由11个键值对对构成,如下:
对每个键值对的详细描述可参看该数据集的官网,这里就不多说了,主要包括谣言的内容、发布时间、处理结果等。
笔者想将这324个文件中的数据存储到一个excel中。
1.Python读取json文件
(1)首先以读取一个文件为例
import json
json_text=r'.\2020-01-22_K1CaS7Qth660h.json'
with open(json_text,encoding='utf8') as f:
content = json.load(f)
print(content)
输出读取的内容如下,为字典类型:
(2)对rumor_weibo文件夹下的内容进行批量读取
import os
import json
root_path=r'.\rumor_weibo'
file_list = os.listdir(root_path) #获取root_path中的所有文件名
content_list = [] #声明列表,存储从json文件中读取的字典
for item in file_list:
file_path = os.path.join(root_path,item) #拼接文件路径
with open(file_path,encoding='utf8') as f:
content = json.load(f)
content_list.append(content)
2.将存入content_list中的内容写入excel
import pandas as pd
df = pd.DataFrame(content_list)
df.to_excel(os.path.join(root_path,'rumor.xlsx'),encoding='utf8')
root_path中便多了一个rumor.xlsx文件,其内容如下: