Python爬虫实战--（三）获取网页中的动态数据

最新推荐文章于 2024-08-23 12:39:49 发布

丶夏日雨

最新推荐文章于 2024-08-23 12:39:49 发布

阅读量1.2w

点赞数 1

分类专栏： Python爬虫

本文链接：https://blog.csdn.net/qq_21180877/article/details/79141542

版权

本文介绍了如何获取动态加载的网页数据，特别是那些在下拉时不断更新的内容。通过在Chrome中检查网络请求，找到异步请求的URL，并分析其规律（如URL中的`page=xx`部分）。为了爬取多个页面的数据，需要根据页码生成不同的URL，然后使用Python爬虫进行抓取。具体实现代码中展示了如何利用这一策略获取10页的动态数据。

摘要由CSDN通过智能技术生成

常见的动态数据是我们下拉下滑栏时，网页上面可以动态加载出来的新的数据。譬如下面这个网站：
https://knewone.com/discover
我们不断地下拉下滑栏，会不断地有新数据加载出来。但是网页的URL却一直保持不变。但其实在我们下拉的时候浏览器会发送一个新的异步请求来获得这些新的数据，只是新的异步请求的URL没有显示到浏览器上。所以获取网页中的动态数据的关键就在于获取异步发送URL并发现其格式上的规律。

获取异步发送的URL

在Chrome上打开网页–>右键点击审查–>点击Network–>点击XHR–>下拉网页加载动态数据–>获取发送的请求–>获得请求头部的Request URL信息。
这里写图片描述
通过上面的步骤我们获得了异步请求的URL，通过分析可以发现异步请求URL之间的差别在于”page=xx”部分。如果我们要爬取10份动态数据，那么我们需要10个URL，其中page的值从1到10。下面给出爬取的完整代码。爬取原理和之前相同，区别只在于URL是异步请求的URL。