当爬虫返回一个JSON数据的时候,可以对返回的response对象直接应用json()方法来将其转换python对象,相当于对response.text应用load()方法,当返回不是JSON数据的时候,使用json()方法,会报错。
import requests
import json
response=requests.get(url)
res=reponse.json()
print(type(res))
print(res)
对于json数据也就可以放入 https://www.json.cn/ 这个网站中进行解析,更好的看出内部结构,层次。 免费的!!
===========================
如果返回的是json内容 可以用requests模块自带的 response.json() 直接转成Python 字典
或者引入json模块 用json.loads(response.content)
将返回内容 保存到文件里
with open('xxxx.html','wb') as f:
f.write(response.content)
返回的内容转码 response.decode(‘utf-8’)
参考:
https://blog.csdn.net/weixin_41514525/article/details/87289381
https://www.cnblogs.com/python666666/p/9998691.html