Python爬虫获取页面动态数据

最新推荐文章于 2024-09-04 10:31:20 发布

SunnyPythonGo

最新推荐文章于 2024-09-04 10:31:20 发布

阅读量4.2k

点赞数 1

分类专栏：笔记文章标签： python 爬虫

本文链接：https://blog.csdn.net/weixin_43411822/article/details/116492694

版权

本文介绍了如何使用Python爬虫处理动态加载的网页数据。通过在谷歌浏览器的开发者工具中查看页面源码和网络请求，确定并获取动态数据的路径，从而指导编写爬虫代码。

摘要由CSDN通过智能技术生成

在爬取网页数据的时候，有时候会出现获取数据为空的情况（在路径、代码没问题前提下），这种就很有可能是爬取的数据为动态加载的数据，下面提供详细的步骤（以谷歌浏览器为例子）：

1、先确定所需数据是否为动态数据，在开发者工具中找到页面源码，查找是否有所需的数据，没有的话则为动态数据，步骤：网页右键 ->检查（开发者工具）-> Sources

2、获取网页访问路径 在这里插入图片描述 Network中选择XHR，F5刷新
在这些请求路径中找是否有所需要的数据，查到所需数据后在Headers中获取请求路径

3、代码实现：

headers = {
   
    "user-agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.132 Safari/537.3

关注