前言
提示:我这里是使用DataBeam工具进行json解析。DataBeam工具介绍可以参考我的另一篇关于DataBeam介绍的文章http://t.csdnimg.cn/XprcP。
**业务需求**
1、将采集到的豆瓣电影信息,由文本格式转为json格式。
2、解析json数据,提取出“电影名”、“类型”、“主演”、“评分”字段。
对于以上需求,本次用到的积木有:“读取文本”、“文本转JSON”、“解析JSON”、“列过滤”、“列重命名”。
一、读取文本文件
- 由于初始数据文件为文本格式,我们先把文本文件读取进来。这里使用“读取文本”积木。
- 配置“读取文本”积木。如图所示:
- 执行“读取文本”积木。如图所示:
- 查看“读取文本结果”。如图所示:
此时可以看到电影信息数据已经全部读取进来。
二、将文本格式的数据转为json格式
- 这里使用“文本转json”积木。将原来文本格式数据转为json格式,便于后续做json解析。选择“文本转json”积木,与“读取文本”积木相连。
- 配置“文本转json”积木。如图所示:
- 执行“文本转json”积木。如图所示:
- 查看“文本转json结果”。如图所示:
此时可以看到,所有文本格式的数据,全部转化为json格式数据。
三、解析json
经过前面两部分的操作,已经实现了将数据读取,并转为json格式。接下来就是正式开始做json解析了
- 使用“解析json”积木,将“解析json”积木与“文本转json”积木相连接。
- 配置“解析json”积木,如图所示:
- 配置好后,执行“解析json”积木,如图所示:
- 查看“解析json结果”,如图所示:
此时可以看到,所需的字段已经单独解析出来。
四、列过滤
经过前面三部分的操作,已经实现了将数据读取,并转为json格式。并对数据进行解析。接下来对数据列进行过滤,仅保留我们需要的列。
- 使用“列过滤”积木,选择“列过滤”积木,与“解析json”积木相连。
- 配置“列过滤”积木,如图所示:
- 执行“列过滤”积木,如图所示:
- 查看“列过滤结果”,如图所示:
此时所显示的数据结果已经全部是我们想要的字段信息。
五、列重命名
经过前面四部分的操作,已经实现了将数据读取,并转为json格式。并对数据进行解析。然后对数据列进行过滤,仅保留我们需要的列。但由于列名取自json值,为了显示更直观,我使用“列重命名”积木对列名进行修改。
-
使用“列重命名”积木,选择“列重命名”积木,与“列过滤”积木相连。
-
配置“列重命名”积木,如图所示:
-
配置好后,执行“列重命名”积木,如图所示:
-
查看“列重命名结果”,如图所示:
总结
本次是使用DataBeam对json数据进行解析的相关操作介绍。
DataBeam这款产品有很多实用有趣的功能,以后有关于DataBeam使用中有相关经验都会分享出来,也欢迎大家相互学习交流。
另外:DataBeam的每一个积木模块,在配置后记得执行,一是看执行结果是否符合需求,二是看是否出现可能配置错误导致的报错,便于排查问题。