爬虫——从json类型的Response中获得信息

爬虫——从json类型的Response中获得信息

网址推荐

https://www.json.cn/ 推荐这个网站进行json展开，可以将括号收起，比较方便。

浏览器中response位置

对应的json类型的response 在浏览器中的位置见下图“

从json嵌套的字典中提取数据

可以看到，json类型的Response中与字典的结构非常像，需要的评论数据在CommentResult下的CommentInfo中，CommentInfo键所对应的值是一个列表，每个列表元素中存储着一条用户评论的相关信息（以字典方式存储），我们将此列表保存在comment_list中，每个列表元素都是一个字典，然后对每个字典进行操作就可以提取出每条评论的相关数据了。

进行json类型数据转换以及信息提取的参考代码

如下是进行json类型数据转换以及信息提取的参考代码，具体代码需要按照不同的网站进行更改。

res = requests.post(postUrl, data=json.dumps(payloadData), headers=headersParameters, timeout=5)

comment_list = []
comment_list = res.json(encoding='utf8')["CommentResult"]["CommentInfo"] //对获取到的response进行格式转换，从json转成字典，然后逐层提取，获取目标信息列表并存储
for comment in comment_list:   //写到文件中
    fw.write(str(comment['TotalStar']) + '\t')
    fw.write(comment['Content'] + '\n')

附注：本文是菜鸟防遗忘笔记。