python3爬虫学习笔记之Ajax数据爬取（七）

有了以上章节的学习，相信一般静态网页的爬取已经是轻而易举的事情了，但是，在实际爬虫中，经常会遇到动态网页，在我们用requests抓取页面时，得到的结果和在浏览器中看到的不一样。

Ajax数据爬取

Ajax即一种异步加载数据的方式，原始的页面不会包含数据，原始页面加载完毕后，会向服务器请求接口获取数据，然后数据被处理再显示在页面上。现在的趋势是，原始HTML不包含任何数据，数据都是通过Ajax统一加载然后呈现，这样即前后端分离！！！

那么我们爬取Ajax数据的原理就是我们使用Requests来模拟Ajax请求！Ajax三步：发送请求，解析内容，渲染页面

Ajax是由JS来实现的，实际上就是执行了下面的代码：

var xmlhttp;
if (window.XMLHttpRequest) {
    // code for IE7+, Firefox, Chrome, Opera, Safari
    xmlhttp=new XMLHttpRequest();
} else {// code for IE6, IE5
    xmlhttp=new ActiveXObject("Microsoft.XMLHTTP");
}   # 新建XMLHttpRequest对象
xmlhttp.onreadystatechange=function() {
    if (xmlhttp.readyState==4 && xmlhttp.status==200) {
        document.getElementById("myDiv").innerHTML=xmlhttp.responseText;
    }
}  #  调用了onreadystatechange属性设置了监听
xmlhttp.open("POST","/ajax/",true);
xmlhttp.send();  # 最后使用了open() 和 send() 方法向服务器发送了请求

由于设置了监听，所以服务器返回响应的时候，onreadystatechange设置的监听方法也会被调用，我们只需要在这个方法里面解析响应内容就可以了。我们可以使用xmlhttp 的 responseText 属性来获取响应的内容。

实例引入

以崔庆才微博主页（该笔记为崔庆才python3爬虫实战笔记）为例：https://m.weibo.cn/u/2830678474，一直下滑，可以发现下滑几个微博之后，就没有了，转而出现一个加载动画，然后继续出现新的微博内容，这个过程就是Ajax加载的过程。

1. 查看请求

开发者模式中Elements选项卡里面是网页的源代码，右侧是节点的样式

Network选项卡里面是页面加载过程中浏览器和服务器之间发送request和response的记录，如果我们想搜取Ajax记录，我们可以在filter里面选取XHR，得到的结果就全都是Ajax请求了。

点开任意一个请求条目，我们都可以清楚的看到Request URL、Request Headers、Response Headers、Response Body等内容，基于这些内容我们就可以模拟出来Ajax请求了。

下拉页面，我们可以看到在不断发出Ajax请求(以getIndex开头，type为uid)，我们随便点开一个：

可以看到是get请求，请求的链接为：https://m.weibo.cn/api/container/getIndex?type=uid&value=2830678474&containerid=1076032830678474&page=2

 

2. 过滤请求

接下来，再利用Chrome开发者工具的筛选功能筛选出所有的Ajax请求，点击XHR，此时下方显示的所有请求便是Ajax请求了。

3. 分析请求

然后我们观察其他的请求，我们可以发现，按前面可知，请求中有Type，value，containerid，page四个参数，前三个参数都没有变化，只有第四个控制分页的有变化。

4. 分析响应

分析请求的响应内容，内容是json格式的，我们可以看到最关键的内容就是cardlistinfo和cards，前者里面有个total属性，是微博的总数量，可以根据这个数字来估算分页数；后者是一个列表，代表每一篇博文，每个博文里面有个mblog，里面是微博内容的信息，比如attritudes_count(点赞数)、text(微博正文)等。

这样我们请求一个接口，就可以得到10条微博，而且请求时只需要改变page参数即可。

 

5. 抓取内容

抓取前10页微博。

代码见weibo_text.py

# weibo_text.py
# -*- coding: utf-8 -*-
"""
Created on Mon Sep 16 14:26:28 2019
@author: Administrator
"""
from urllib.parse import urlencode
import requests
import json

base_url = 'https://m.weibo.cn/container/getIndex?'
headers = {
        'Host':'m.weibo.cn',
        'Refere':'https://m.weibo.cn/u/2830678474',
        'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:57.0) Gecko/20100101 Firefox/57.0',
        'X-Requested-With':'XMLHttpRequest',       
        }

def get_page(page):
    params = {
            'type':'uid',
            'value':'2830678474',
            'containerid':'1076032830678474',
            'page':page
            }
    url = base_url+urlencode(params)
    try:
        response = requests.get(url,headers=headers)
        if response.status_code==200:
            return response.json()
    except requests.ConnectionError as e:
        print('error ',e.args)
 
from bs4 import BeautifulSoup  
from pyquery import PyQuery as pq     
def parse_page(json):
    if json:
        items = json.get('data').get('cards')
        for item in items:
            item = item.get('mblog')
            #print(item)
            weibo={}
            weibo['id']=item.get('id')
            print(item.get('id'))
            weibo['attitudes']=item.get('attitudes_count')
            print(item.get('attitudes_count'))
            weibo['comments']=item.get('comments_count')
            print(item.get('comments_count'))
            weibo['reposts']=item.get('reporsts_count')
            print(item.get('reporsts_count'))
            #print(soup.prettify())
            soup = BeautifulSoup(item.get('text'),'lxml')
            print(soup.prettify())
            print(pq(item.get('text')).text())
            #print(soup.p.string)
            
if __name__=='__main__':
    for page in range(1,11):
        json_text = get_page(page)
        results = parse_page(json_text)
        

 

如果对你有用，点个赞  手动笑脸（*_*）