mitmdump抓取App数据

最新推荐文章于 2024-08-14 17:10:06 发布

风度翩翩猪肉王子

最新推荐文章于 2024-08-14 17:10:06 发布

阅读量3.3k

点赞数

分类专栏：爬虫文章标签： mitmdump App

本文链接：https://blog.csdn.net/qq_17249717/article/details/82597055

版权

以爬取腾讯新闻App新闻评论为例。

将手机用数据线连接上电脑，打开调试。

首先通过Charles抓包分析请求链接和响应的内容。

这里写图片描述

注意：腾讯新闻上的评论是嵌套字典的列表，我们需要进行处理，提取出列表中的字典。

代码展示

import time, json

def response(flow):
    url = 'https://r.inews.qq.com/getQQNewsComment?'  # 评论所在的链接（较完整）
    if url in flow.request.url:
        text = flow.response.text  
        data = json.loads(text)
        # 从Charles中观测，data是个列表对象，列表对象是没有get()方法的