python爬虫爬取使用Ajax请求的网站数据解析——以梅老板微博为例（m.weibo.cn）

前言

前面学习了使用正则表达式和利用python第三方的解析库实现对目标网页源代码的爬取，可见即可爬，但很多时候往往并没有那么友好，网页源代码中可能没有我们需要的东西。还有当我们使用requesets抓取页面的时候，得到的结果可能和我们在浏览器中看到的结果不太一样，在浏览器中能看到正常的页面数据，但是使用requests爬取到的页面信息却不一样。这是因为requests获取到的是原始的HTML文本，而浏览器中的页面是经过JavaScript处理数据之后生成的结果。这种数据处理的方式有很多，可能是通过Ajax加载的，或者其他方式。通过Ajax加载的网页原始页面不会包含某些数据，等原始页面加载完成之后，会再向服务器请求接口获取数据，然后数据就被呈现在网页上。使用Ajax请求的网页一般有一个特点：下拉页面能源源不断的获取新的内容，不需要说是点击下一页才能看到其他数据，下拉页面之后新的内容就被加载出来了。下面我就介绍一下如何利用requests来模拟Ajax请求获取页面数据。

什么是Ajax

Ajax，全称Asynchronous Javascript and XML，即异步的JavaScript和XML。他不是一门编程语言，而是利用JavaScript在保证页面不被刷新、页面链接不改变的情况下与服务器交换数据并更新部分网页的技术。

对于传统的网页，我们要获取新内容，那么必须要刷新整个页面，但是Ajax就可以保证在页面不用全部刷新的情况下更新内容。在这个过程中，页面实际上是在后台与服务器进行了数据交互，获取到数据之后，再利用Javascript改变网页，然后就可以看到新的内容了。这就是我前面提到的只需要下拉页面就可以获取新的内容。

Ajax基本原理

发送Ajax请求到网页更新的这个过程可以分为以下三个步骤：

• 发送请求
• 解析内容
• 渲染网页

发送请求

var xmlhttp;
if (window.XMLHttpRequest) {
   
    // code for IE7+, Firefox, Chrome, Opera, Safari
    xmlhttp=new XMLHttpRequest();
} else {
   // code for IE6, IE5
    xmlhttp=new ActiveXObject("Microsoft.XMLHTTP");
}
xmlhttp.onreadystatechange=function() {
   
    if (xmlhttp.readyState==4 && xmlhttp.status==200) {
   
        document.getElementById("myDiv").innerHTML=xmlhttp.responseText;
    }
}
xmlhttp.open("POST","/ajax/",true);
xmlhttp.send();

这是JavaScript对Ajax最底层的实现，实际上就是新建了XMLHttpRequest对象，然后调用onreadystatechange属性设置了监听，然后调用open()和send()方法向某个链接（也就是服务器）发送了请求。前面用Python实现请求发送之后，可以得到响应结果，但这里请求的发送变成JavaScript来完成.由于设置了监听，所以当服务器返回响应时，onreadystatechange对应的方法便会被触发，然后在这个方法里面解析响应内容即可。

解析内容

得到响应之后，onreadystatechange属性对应的方法便会被触发，此时利用xmlhttp的responseText属性便可取到响应内容。这类似于Python中利用requests向服务器发起请求，然后得到响应的过程。那么返回内容可能是HTML，可能是JSON，接下来只需要在方法中用JavaScript进一步处理即可。比如，如果是JSON的话，可以进行解析和转化。

渲染网页

JavaScript有改变网页内容的能力，解析完响应内容之后，就可以调用JavaScript来针对解析完的内容对网页进行下一步处理了。比如，通过document.getElementById().innerHTML这样的操作，便可以对某个元素内的源代码进行更改，这样网页显示的内容就改变了，这样的操作也被称作DOM操作，即对Document网页文档进行操作，如更改、删除等。
上例中，document.getElementById(“myDiv”).innerHTML=xmlhttp.responseText便将ID为myDiv的节点内部的HTML代码更改为服务器返回的内容，这样myDiv元素内部便会呈现出服务器返回的新数据，网页的部分内容看上去就更新了。
我们观察到，这3个步骤其实都是由JavaScript完成的，它完成了整个请求、解析和渲染的过程。

引用来源：https://cuiqingcai.com/5593.html
以上的部分大家可以作为一个了解，如果对JavaScript比较熟悉的同学应该能搞明白，反正我是不太懂的。

Ajax分析方法

查看请求

这里我们需要借助浏览器的开发者工具进行Ajax分析，下面以Chrome浏览器中梅老板的微博界面为例介绍一下如何进行Ajax分析。
首先在Chrome中打开链接https://m.weibo.cn/detail/4522545920873031，然后在加载好的页面右键单击，选择“检查"，然后就能打开开发者工具。