使用Fiddler抓公众号数据

前言

Fiddler是一个http协议调试代理工具，它能够记录并检查所有你的电脑和互联网之间的http通讯，设置断点，查看所有的 “进出” Fiddler的数据（指cookie,html,js,css等文件）。 Fiddler 要比其他的网络调试器要更加简单，因为它不仅仅暴露http通讯还提供了一个用户友好的格式。

》本文案例：利用Fiddler抓取公众号数据
》成果：熟悉抓包软件的使用、学会处理公众号接口数据。

准备工作

• 微信PC客户端
• Fiddler抓包软件（附安装包：Fiddler中文版【提取码：7k7k】）
• 进入Fiddler软件需要进行证书配置，如下图操作：（配置完成后重新打开软件）
  

开始抓包

》重启Fiddler后，打开微信公众号，点击查看历史消息，再返回到Fiddler就可以看到返回的数据了（若没看到数据，则返回公众号中往下拉，再查看历史消息）。
》这时，在抓包软件的左侧返回的一大堆网址数据中，找到 ‘Host’ 显示为 'mp.weixin.qq.com' 的那一栏，查看它的 ‘URL’是否返回的是json的数据格式（例："/mp/profile_ext?action=getmsg&_biz=MzIOMD==&f=json&..."），如果是，那么数据接口就被找到了。
》看到的效果是这样的，如下图：
（根据图片，接着执行图中的二、三步骤，就可以查看到发送的请求头信息）

》在抓包软件的右上框的Raw可以查看到请求接口时需要的请求参数有哪些。（如下图）
》在抓包软件的右下框的json可以查看到请求接口时返回来的数据有哪些。（如下图）
【划黄色荧光笔的就是重要的参数，其中右下框的 general_msg_list就是返回的数据内容，可以复制 "list:" 后面的[ ]部分，到http://www.json.cn/中，解析出完整的数据格式出来。// 其中：next_offset=20 是请求后面的20条数据，后面完整代码会用到】

》经过 http://www.json.cn/ 中，解析出完整的数据格式显示如下图（附解释）：

开始爬取数据

》若只是requests+请求头向目标url发送请求的话，是无法返回正确数据的。通过抓包，分析出请求时带上各种token等参数，才能够获取正确的数据，而这些参数都可以在抓包软件中直接复制使用。

》因此构造的请求头信息为如下代码：
（请求头信息中的token参数等会过一阵子失效，所以需要重新再获取重试即可）

querystring = {
    "action": "getmsg",
    "__biz": "MzI0MDM0MzYwMA==",# biz参数是公众号的ID
    "f": ["json","json"],
    "offset": "10",             # 起始条数（后面可用作翻页功能）
    "count": "10",              # 返回条数
    "is_ok": "1",
    "scene": "124",
    "uin": "NDM3NzA2NDU",       # uin是用户的ID，目前来看uin是在所有公众号之间唯一的
    "key": "",                  # key 和 pass_ticket 是微信客户端补充上的参数
    "pass_ticket": "",
    "wxtoken": "",              # 空
    "appmsg_token": "",         # token  
    "x5": "0"
    # 以上参数都可以在抓包软件中获取到
}
headers = {
    "host": "mp.weixin.qq.com",
    "connection": "keep-alive",
    "accept": "*/*",
    "user-agent": "",           # 自己的请求头信息（在抓包软件中可以找到）
    "x-requested-with": "XMLHttpRequest",
    "accept-encoding": "gzip, deflate",
    "accept-language": "zh-CN,zh;q=0.8,en-us;q=0.6,en;q=0.5,q=0.4",
    "cookie": ""                # 自己的cookies（在抓包软件中可以找到）
}

》最终代码如下：

import requests
import json
import time
import os
from bs4 import BeautifulSoup


def start(offset=10):
    url = "https://mp.weixin.qq.com/mp/profile_ext"  # 需要携带querystring参数到url中
    querystring = {
        ...		# 参照上面，填入抓包获取到的请求
    }
    # 以上 "__biz"、"uin"、"key"、"pass_ticket"、"appmsg_token" 参数都会隔一段时间就变，所以需要定时更改

    headers = {
         ...	# 参照上面，填入抓包获取到的请求
    }

    response = requests.get(url=url, headers=headers, params=querystring, verify=False).json()     # 其中verify参数用于关闭SSL验证

    for item in json.loads(response["general_msg_list"])["list"]:       # 遍历获得每一篇文章url
        info = {}
        # 只获取当天置顶的第一篇文章

        timeStamp = int(item["comm_msg_info"]["datetime"])  # 时间戳
        timeArray = time.localtime(timeStamp)
        datetime = time.strftime("%Y-%m-%d", timeArray)

        info["date"] = datetime
        info["title"] = item["app_msg_ext_info"]["title"]
        info["digest"] = item["app_msg_ext_info"]["digest"]
        info["author"] = item["app_msg_ext_info"]["author"]
        info["link"] = item["app_msg_ext_info"]["content_url"]

        try:
            content = parse(info["link"])               # 调用parse()方法，获取公众号文章内容

            os.makedirs("./gzh_txt/"+info["author"], exist_ok=True)      # 创建文件夹目录
            with open("./gzh_txt/"+info["author"] + "/" + info["date"]+"_one.txt", "w", encoding='utf-8') as f:      # 存储文章内容，记得需要编码格式
                f.write(content)
        except Exception as e:  # 异常处理
            print(e)

        print(info)
        # 这里还可以编写代码将info数据存储在数据库中

    if response["next_offset"] < 100:           # "next_offset" 用于请求后面的数据，前面有提到该参数
        start(response["next_offset"])          # 继续调用start()方法


def parse(url):
    response = requests.get(url=url)
    soup = BeautifulSoup(response.text, 'lxml')     # 使用 BeautifulSoup 请求
    content = soup.find('div', class_='rich_media_content').get_text().strip()  # 获取公众号文章内容
    return content

if __name__ == '__main__':
    start()

》以上就是本案例的全部内容，主要是掌握Fiddler抓包软件的使用，对公众号接口和数据的分析和存储等。【还有对 时间戳、bs4 的使用】
》可参考该文✍：https://www.colabug.com/2018/0523/2941906/