python爬虫学习45

最新推荐文章于 2024-05-15 07:59:17 发布

VIP文章亦瑕

最新推荐文章于 2024-05-15 07:59:17 发布

阅读量542

点赞数 2

文章标签：爬虫 python 学习

本文链接：https://blog.csdn.net/szshiquan/article/details/125108290

版权

首先我们使用requests库来实际操作一下

# https://spa1.scrape.center/

import requests

url = 'https://spa1.scrape.center/'
html = requests.get(url).text
print(html)

运行结果:

在这里插入图片描述

这里我们虽然能够成功获得返回的html文本，但是对比实际网站我们就会发现事情远远没有那么简单：

对比网站上的内容就会发现我们没有在返回的html中发现任何的电影信息。

在这里插入图片描述

对于以上情况，就说明该网页使用了JavaScript渲染的技术之后得到的。这个时候若要爬取页面的电影信息我们需要调用Ajax数据接口，以实现对动态渲染之后的页面的爬取。

这时我们首先要对页面进行分析：

在这里插入图片描述

再进行下一页操作之后，可以看到比较明显两个参数：limit与offset

在这里插入图片描述

查看每一个响应的preview选项卡，可以看到我们所需的信息就隐藏在这里！
就想捉迷藏一样，看到它的下一步，就是把他们抓住了。

import requests
import logging
# 调用logging库进行程序日志的打印输出，以便对爬虫进程的监督
# 设定追踪日志的等级为 info 并设定格式

关注