关于Ajax爬虫的方法(全站数据爬取)

1.Ajax是什么？

AJAX简单来说是一种在无需重新加载整个网页的情况下，能够更新部分网页的技术。

常见的比如淘宝或者微博滑到底部会出现"点击加载更多"，或者滑到底部会自动出现更多的内容。此类网站皆是Ajax网站

2.Ajax类型网站爬虫的特点

Ajax网站跟普通网站爬虫不同点在于Ajax是一种渲染的方式使数据呈现在页面之上，因此网页看到的内容跟我们requests请求网页的内容是不一样的

例如本次案例采用的网站：https://spa1.scrape.center/

import requests
response = requests.get(url = 'https://spa1.scrape.center/')
print(response.text)

这是最最基础的爬虫步骤，但请求结果与我们想要的结果明显不符。

3.查找Ajax接口

我们进入开发者模式--点击Network，这里看见所有的请求数据，而Ajax请求的类型是XHR的，因此我们点击Fetch/XHR接口类型，而下面status200的即为我们想要的数据

4.分析请求数据格式

得到Ajax接口数据之后，我们可