Python3网络爬虫(七) --Ajax数据爬取

我们使用Requests爬取数据的时候，得到的结果可能和预期不一样，因为在浏览器里面看到的正常显示的数据，不在request结果里面，这是因为页面的数据来源有很多种，其中一种就是通过Ajax加载的。

Ajax即一种异步加载数据的方式，原始的页面不会包含数据，原始页面加载完毕后，会向服务器请求接口获取数据，然后数据被处理再显示在页面上。现在的趋势是，原始HTML不包含任何数据，数据都是通过Ajax统一加载然后呈现，这样即前后端分离！！！

那么我们爬取ajax数据的原理就是我们使用Requests来模拟Ajax请求！Ajax三步：发送请求，解析内容，渲染页面

Ajax是由JS来实现的，实际上就是执行了下面的代码：

var xmlhttp;
if (window.XMLHttpRequest) {
    // code for IE7+, Firefox, Chrome, Opera, Safari
    xmlhttp=new XMLHttpRequest();
} else {// code for IE6, IE5
    xmlhttp=new ActiveXObject("Microsoft.XMLHTTP");
}   # 新建XMLHttpRequest对象
xmlhttp.onreadystatechange=function() {
    if (xmlhttp.readyState==4 && xmlhttp.status==200) {
        document.getElementById("myDiv").innerHTML=xmlhttp.responseText;
    }
}  #  调用了onreadystatechange属性设置了监听
xmlhttp.open("POST","/ajax/",true);
xmlhttp.send();  # 最后使用了open() 和 send() 方法向服务器发送了请求

由于设置了监听，所以服务器返回响应的时候，onreadystatechange设置的监听方法也会被调用，我们只需要在这个方法里面解析响应内容就可以了。我们可以使用xmlhttp 的 responseText 属性来获取响应的内容。

例子测试网页：https://m.weibo.cn/u/2145291155

Ajax分析方法：

Elements选项卡里面是网页的源代码，右侧是节点的样式
Network选项卡里面是页面加载过程中浏览器和服务器之间发送request和response的记录，如果我们想搜取ajax记录，我们可以在filter里面选取XHR，得到的结果就全都是Ajax请求了。
点开任意一个请求条目，我们都可以清楚的看到Request URL、Request Headers、Response Headers、Response Body等内容，基于这些内容我们就可以模拟出来ajax请求了。

Ajax结果提取

下拉页面，我们可以看到在不断发出Ajax请求，我们随便点开一个：
可以看到是get请求，请求的链接为：
https://m.weibo.cn/api/container/getIndex?type=uid&value=2145291155&containerid=1076032145291155&page=2
我们可以发现有Type，value，containerid，page四个参数
然后我们观察其他的请求，我们可以发现，前三个参数都没有变化，只有第四个控制分页的有变化。

我们可以看到最关键的内容就是cardlistinfo和cards，前者里面有个total属性，是微博的总数量，后者是一个列表，代表每一篇博文，每个博文里面有个mblog，里面是微博内容的信息。