Ajax结果提取（page更新为使用since_id的解决方法）

降温vae+

已于 2022-04-02 09:24:34 修改

阅读量3.7k

点赞数 3

分类专栏：爬虫文章标签：爬虫 python

于 2022-04-01 21:11:34 首次发布

本文链接：https://blog.csdn.net/m0_49449205/article/details/123906496

版权

爬虫专栏收录该内容

20 篇文章 3 订阅

订阅专栏

文章目录

1.分析请求
2.分析响应
3.实战演练
参考文献

这里仍然以微博为例，接下来用Python来模拟这些Ajax请求，把许嵩发过爬取下来。

1.分析请求

打开Ajax的XHR过滤器，然后一直滑动页面以加载新的内容。可以看到，会不断有Ajax请求发出。
选定其中一个请求，分析它的参数信息。点击该请求，进入详情页面，如图：
在这里插入图片描述
可以发现，这是一个GET类型的请求，请求链接为https://m.weibo.cn/api/container/getIndex?type=uid&value=1251000504&containerid=1005051251000504。请求参数有3个：type、value、containerid，但是点开后面的请求后发现还有第四个参数since_id，如下图。（在就以前的版本中，这个参数其实是page），我们发现，他们的前三个type、value和containerd始终如一。type始终为uid，value就是页面链接中的数字，其实就是用户id。另外，containerid也没变。就是107603拼接用户id。最后参数since_id是用来控制分页的，之前用的是page，page=1就是第一页以此类推，但是since_id就需要重新处理，我们下面再来分析。
在这里插入图片描述

2.分析响应

随后，观察这个请求的相应内容，如图：
在这里插入图片描述
这个内容是JSON格式的，浏览器开发者工具自动做了解析以方便我们查看。可以看到，最关键的两部分信息就是cardlistInfo和cards：前者包含比较重要的信息total，观察后可以发现这是微博的总数量，我们可以根据这个数字来估算分页数，另外这部分还包含了一个since_id，观察发现它是下一个请求的since_id。而第一个请求的since_id是为空的，那么在没办法用page分页的情况下，我们可以从上个连接的返回信息中获取since_id，以此来获取下个链接；后者则是一个列表，它包含10个元素，展开其中一个看一下，如图所示：
在这里插入图片描述
可以发现，这个元素有一个比较重要的字段mblog。展开它，可以发现它包含的正是微博的一些信息，比如attitudes_count（赞数目）、comments_count（评论数目）、reposts_count（转发数目）、created_at（发布时间）、text（微博正文）等，而且它们都是一个格式化的内容。这样我们请求一个接口，就可以得到10条微博，而且请求时只需要改变page参数即可。
这样的话，我们只需要一个简单的循环，就可以获取所有微博了。

3.实战演练

这里我们用程序模拟这些Ajax请求，将许嵩的前十页微博全部爬取下来。
首先，定义一个方法来获取每次请求的结果。在请求时，since_id是一个可变参数，所以我们将它作为方法的参数传递进来，相关代码如下：

from urllib.parse import urlencode
import requests
base_url = 'https://m.weibo.cn/api/container/getIndex?'

headers = {
    'Host':'m.weibo.cn',
    'Referer':'https://m.weibo.cn/u/1251000504',
    'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/99.0.4844.84 Safari/537.36',
    'X-Requested-With':'XMLHttpRequest',
}

def get_page(since_id=None):
    params={
        'type':'uid',
        'value':'1251000504',
        'containerid':'1076031251000504',
        'since_id':since_id
    }
    url = base_url+urlencode(params)
    try:
        response = requests.get(url,headers=headers)
        if response.status_code == 200:
            json = response.json()
            items = json.get('data').get('cardlistInfo')
            next_since_id = items['since_id']
            return (json, next_since_id)
    except requests.ConnectionError as e:
        print('Error',e.args)

首先，这里定义了base_url来表示请求的URL的前半部分。接下来，构造参数字典，其中type、value和containerid是固定参数，since_id是可变参数。接下来，调用urlencode()方法将参数转化为URL的GET请求参数，即类似于type=uid&value=1251000504&containerid=1076031251000504&since_id=466466这样的形式。随后，base_url与参数拼合形成一个新的URL。接着，我们用requests请求这个链接，加入headers参数。然后判断响应的状态码，如果是200，则直接调用json（）方法将内容解析为JSON返回，否则不返回任何信息，并且将下个列表的since_id保存下来。如果出现异常则捕获并输出异常信息。
随后，我们需要定义一个解析方法，用来从结果中提取想要的信息，比如这次想保存微博的id、正文、赞数、评论数和转发数这几个内容，那么可以先遍历cards，然后获取mblog中的各个信息，赋值为一个新的字典返回即可,这里遇到了一个小问题，就是在微博中没有正文或者是只有图片的这种特殊情况，其实会报错，我们可以将其做异常处理，忽略掉而进行下一次循环：

from pyquery import PyQuery as pq

def parse_page(json):
    if json:
        items = json.get('data').get('cards')
        for item in items:
            item = item.get('mblog')
            try:
                if pq(item.get('text')).text() == None:
                    continue
            except:
                continue
            weibo = {}
            weibo['id'] = item.get('id')
            weibo['text'] = pq(item.get('text')).text()
            weibo['attitudes'] = item.get('attitudes_count')
            weibo['comments'] = item.get('comments_count')
            weibo['reposts'] = item.get('reposts_count')
            yield  weibo

这里我们借助pyquery将正文中的HTML标签去掉。
最后，遍历一下，一共10页，将提取到的结果打印输出即可：

if __name__=='__main__':
    for page in range(42):
        if page == 0:
            print("第{}页".format(page + 1))
            tuple_since_id = get_page()
            results = parse_page(tuple_since_id[0])
            for result in results:
                print(result)
        else:
            print("第{}页".format(page + 1))
            tuple_since_id = get_page(tuple_since_id[1])
            results = parse_page(tuple_since_id[0])
            for result in results:
                print(result)

在这里插入图片描述
另外，我们还可以加一个方法将结果保存到MongoDB数据库：

from pymongo import MongoClient

client = MongoClient()
db = client['weibo']
collection = db['weibo']
def save_to_mongo(result):
    if collection.insert(result):
        print('Saved to Mongo')

这样所有的功能都是实现完成了。运行程序后，输出结果如下：
在这里插入图片描述
查看一下MongoDB，相应的数据也被保存到MongoDB，如图：

这样我们就顺利通过分析Ajax并编写爬虫爬取下来微博列表。最后，给出代码地址：https://github.com/jiangwenvae/Spider/blob/main/spider/AjaxWeiBo.py

参考文献

[1].Python3网络爬虫开发实战.崔庆才.——6.3Ajax数据爬取

降温vae+

关注

3
点赞
踩
4

收藏

觉得还不错? 一键收藏
打赏
0
评论
Ajax结果提取（page更新为使用since_id的解决方法）

文章目录1.分析请求2.分析响应3.实战演练参考文献这里仍然以微博为例，接下来用Python来模拟这些Ajax请求，把许嵩发过爬取下来。1.分析请求打开Ajax的XHR过滤器，然后一直滑动页面以加载新的内容。可以看到，会不断有Ajax请求发出。选定其中一个请求，分析它的参数信息。点击该请求，进入详情页面，如图：可以发现，这是一个GET类型的请求，请求链接为https://m.weibo.cn/api/container/getIndex?type=uid&value=1251000504
复制链接

扫一扫