非结构化数据存储与分析 实验一

一、使用Python处理JSON文件

1.将JSON文件读取为字典类型

首先导入json库,接着使用open函数来读取JSON文件，最后利用json.load函数将JSON字符串转化为Python字典形式.

2.将JSON文件读取为Pandas类型

Pandas库可以读取电脑本地磁盘上的JSON文件和通过URL读取网络上存放的文件

3.使用Pandas读取嵌套JSON类型

使用缩进来展示嵌套结构。即嵌套字段的处理

方法一:

members列被拆分为4个列

方法二:

json_normalize中添加参数 meta_prefix，可以为meta中的名字添加统一的前缀。

4.访问特定位置的数据

紫色的内容

蓝色的内容

5.编辑与导出JSON

也可以使用Pandas中的to_json () 函数

6.美化输出

可以在函数json.dump中采用参数indent参数来控制输出格式

7.输出字段排序

通过设置sort_key字段，可以控制输出时是否对key进行排序.

• 心得体会

我学会了如何访问字典中嵌套的字段。通过多次使用索引，我成功地提取了 JSON 数据中的特定字段，比如成员的身份信息和能力列表。这种方式使得我们可以快速准确地获取所需的数据。另外，我还掌握了将字典以 JSON 格式写入文件的方法。通过 json.dump() 函数，我成功地将修改后的字典写入到指定路径的 JSON 文件中。这样，我们可以将数据保存下来，方便后续的读取和处理。

在实验过程中，我遇到了一些问题和挑战。例如，确保文件路径的正确性和编码的一致性是很重要的。此外，在访问嵌套字段时，需要注意索引的正确性，以避免出现索引错误的情况。