抓取异步数据（AJAX）笔记

最新推荐文章于 2024-07-01 09:06:27 发布

落春只在无意间

最新推荐文章于 2024-07-01 09:06:27 发布

阅读量517

点赞数

分类专栏： python 爬虫文章标签： python ajax json

本文链接：https://blog.csdn.net/qq_39838607/article/details/119881094

版权

本文介绍了如何通过AJAX从xhr请求中提取异步返回的JSON数据，包括获取URL、处理JSON格式内容，并提供了一个完整的Python代码示例。重点讲解了如何使用requests库和json模块来抓取并解析JSON数据。

摘要由CSDN通过智能技术生成

数据在XHR中

在这里插入图片描述

可以看到，单击XHR按钮后，左侧的列表只显示了一个名为data的URL，很明显，这是获取数据的路由名字，在右侧的Preview选项卡中显示了data返回的数据，很显然，这是ISON格式的数字器，其实现在已经完成了任务，找到了异步访问的 URL, 并且了解了返回的数据格式。那么很多读者会问，XHR是什么呢?XHR是XMLHupRe quest的缩写，用于过渡通过异步方式请求的URL，

提取结果

知道了异步请求的URL，就可以通过requests等网络库通过URL抓取数据，不过返回的数据格式不是 HTM L，也不是XML，而是。JSON。所以不能使用XPath和CSS选择器处理，而是使用json模块中的loads函数将字符串形式的JSON转换为Python字典。

result = requests.get('https://...)
 json_str = result.content
    json_doc = str(json_str,'utf-8')
	#将结果转换为JSON对象，这里要先获得二进制形式，然后用UTF-8转码，不能直接用 result.text
	#属性，否则有乱码
    imageResult = json.loads(json_doc)
	# 获取data 的值
    data = imageResult['data']
	# 迭代获取其中的URL
    for record in data