python爬虫学习45

python爬虫学习45

Ajax数据爬取

3.初步探索

首先我们使用requests库来实际操作一下

# https://spa1.scrape.center/

import requests

url = 'https://spa1.scrape.center/'
html = requests.get(url).text
print(html)

运行结果:

这里我们虽然能够成功获得返回的html文本，但是对比实际网站我们就会发现事情远远没有那么简单：

对比网站上的内容就会发现我们没有在返回的html中发现任何的电影信息。

对于以上情况，就说明该网页使用了JavaScript渲染的技术之后得到的。这个时候若要爬取页面的电影信息我们需要调用Ajax数据接口，以实现对动态渲染之后的页面的爬取。

这时我们首先要对页面进行分析：

再进行下一页操作之后，可以看到比较明显两个参数：limit与offset

查看每一个响应的preview选项卡，可以看到我们所需的信息就隐藏在这里！
就想捉迷藏一样，看到它的下一步，就是把他们抓住了。

import requests
import logging
# 调用logging库进行程序日志的打印输出，以便对爬虫进程的监督