Python：使用 MitmProxy 自动抓取微信公众号阅读数、点赞和再看数据

先自我介绍一下，小编浙江大学毕业，去过华为、字节跳动等大厂，目前阿里P7

深知大多数程序员，想要提升技能，往往是自己摸索成长，但自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年最新Python全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友。

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上Python知识点，真正体系化！

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新

如果你需要这些资料，可以添加V获取：vip1024c （备注Python）

正文

appmsgext_json = requests.post(

appmsgext_url， headers=self.headers， data=self.data).json()

if “appmsgstat” not in appmsgext_json.keys():

raise Exception(appmsgext_json)

return appmsgext_json

if name == ‘main’:

info = Articles(‘1068_XQoMoGGBYG8Tf8k23jfdBr2H_LNekAAlDDUe2aG13TN2fer8xOSMyrLV6s-yWESt8qg5I2fJr1r9n5Y5’， ‘rewardsn=; wxtokenkey=777; wxuin=1681274216; devicetype=android-29; version=27001037; lang=zh_CN; pass_ticket=H9Osk2CMhrlH34mQ3w2PLv/RAVoiDxweAdyGh/Woa1qwGy2jGATJ6hhg7syTQ9nk; wap_sid2=COjq2KEGEnBPTHRVOHlYV2U4dnRqaWZqRXBqaWl3Xy1saXVWYllIVjAzdlM1VkNDNHgxeWpHOG9pckdkREMwTFEwYmNWMl9FZWtRU3pRRnhDS0pyV1BaZUVMWXN1ZWN0WnZ6aHFXdVBnbVhTY21BYnBSUXNCQUFBMLLAjfgFOA1AAQ==’)

a， b，c = info.read_like_nums(‘http://mp. weixin.qq.com/s?__biz=MzU1NDk2MzQyNg==&mid=2247486254&idx=1&sn=c3a47f4bf72b1ca85c99190597e0c190&chksm=fbdad3a3ccad5ab55f6ef1f4d5b8f97887b4a344c67f9186d5802a209693de582aac6429a91c&scene=27#wechat_redirect’)

print(a， b， c)

示例结果

阅读数 点赞数 再看数

1561 23 18

动态获取 cookie 和 appmsg_token

---

appmsg_token 是一个具有时效性的参数，和 cookie 一样是需要改变的，当这两个参数过期时就需要从抓包工具（MitmProxy 中）ctrl+C，ctrl+V到代码中，很是麻烦。

MitmProxy 可以使用命令行接口 mitmdumvp 运行 Python 代码监听抓取的链接，如果抓到了 https://mp. weixin.qq.com/mp/getappmsgext 就保存在本地文件并退出抓包

mitmdump 命令

-s 运行的python脚本, -w 将截取的内容保持到文件

mitmdump -s write_cookie.py -w outfile mp.weixin.qq.com/mp/getappmsgext

监听脚本

import urllib

import sys

from mitmproxy import http

command: mitmdump -s write_cookie.py -w outfile mp.weixin.qq.com/mp/getappmsgext

class WriterCookie:

“”"

mitmproxy的监听脚本，写入cookie和url到文件

“”"

def init(self， outfile: str) -> None:

self.f = open(outfile， “w”)

def response(self， flow: http.HTTPFlow) -> None:

“”"

完整的response响应

:param flow: flow实例，

“”"

获取url

url = urllib.parse.unquote(flow.request.url)

将url和cookie写入文件

if “mp. weixin.qq.com/mp/getappmsgext” in url:

self.f.write(url + ‘\n’)

self.f.write(str(flow.request.cookies))

self.f.close()

退出

exit()

第四个命令中的参数

addons = [WriterCookie(sys.argv[4])]

监听脚本写好之后，再来写启动命令和解析 url，cookie 文件的模块

import re

import os

class ReadCookie(object):

“”"

启动write_cookie.py 和 解析cookie文件，

“”"

def init(self， outfile):

self.outfile = outfile

def parse_cookie(self):

“”"

解析cookie

:return: appmsg_token， biz， cookie_str·

“”"

f = open(self.outfile)

lines = f.readlines()

appmsg_token_string = re.findall(“appmsg_token.+?&”， lines[0])

biz_string = re.findall(‘__biz.+?&’， lines[0])

appmsg_token = appmsg_token_string[0].split(“=”)[1][:-1]

biz = biz_string[0].split(“__biz=”)[1][:-1]

cookie_str = ‘; ‘.join(lines[1][15:-2].split(’]， [’)).replace(‘’‘，’‘).replace(’， '， ‘=’)

return appmsg_token， biz， cookie_str

def write_cookie(self):

“”"

启动 write_cookie。py

:return:

“”"

#当前文件路径

path = os.path.split(os.path.realpath(file))[0]

mitmdump -s 执行脚本 -w 保存到文件 本命令

command = “mitmdump -s {}/write_cookie.py -w {} mp.weixin.qq.com/mp/getappmsgext”.format(

path， self.outfile)

os.system(command)

if name == ‘main’:

rc = ReadCookie(‘cookie.txt’)

rc.write_cookie()

appmsg_token， biz， cookie_str = rc.parse_cookie()

print(“appmsg_token：” + appmsg_token ， “\nbiz：” + biz， “\ncookie：”+cookie_str)

示例结果

cookie.txt 文件内容解析后

appmsg_token：1068_av3JWyDn2XCS2fwFj3ICCnwArRb2kU4Y5Y5m9Z9NkWoCOszl3a-YHFfBkAguUlYQJi2dWo83AQT4FsNK

biz：MzU1NDk2MzQyNg==

cookie：rewardsn=; wxtokenkey=777; wxuin=1681274216; devicetype=android-29; version=27001037; lang=zh_CN; pass_ticket=H9Osk2CMhrlH34mQ3w2PLv/RAVoiDxweAdyGh/Woa1qwGy2jGATJ6hhg7syTQ9nk; wap_sid2=COjq2KEGEnBPTHRVOHlYV2U4dnRqaWZqRXBqaWktTHpUSEJnTTdhU0hVZTEtZXpZZEY4a3lNY29zc0VZeEFvLS01YmJRRnQ5eFRmR2dOY29nUWdKSTRVWG13WE1obGs1blhQcVh0V18tRnBSRnVlc1VhOHNCQUFBMPeIjfgFOA1AAQ==

ReadCookie 模块可以自动获取到 appmsg_token 和 cookie，将它们当作参数一样传递到 Articles 模块中，就能解放双手再也不要复制黏贴 appmsg_token 和 cookie 了，只要在 appmsg_token 过期时刷新一下公众号文章就可以了，省心又省时

批量抓取

---

在公众号历史消息界面将屏幕向上滑动，每次都可以加载 10 条历史消息，盲猜这个翻页就是批量抓取的请求链接，用 MitmProxy 的 WEBUI 界面在 Response 面板查找一下，找到一个是 https://mp. weixin.qq.com/mp/profile_ext?action=getmsg&__biz=MzU1NDk2MzQyNg==&f=json&offset=10&count=10… 的链接，它的响应返回值中有多个文章标题，再看这个链接上有 offset=10&count=10 参数，一看就是翻页偏移量和每页显示的条数，就它了

在链接中比较重要的参数有：__biz、offset、pass_ticket、appmsg_token ，这些数据都可以在 cookie 和 appmsg_token 中得到。

utils.py

工具模块，将字符串变成字典

def str_to_dict(s， join_symbol=“\n”， split_symbol=“:”):

s_list = s.split(join_symbol)

data = dict()

for item in s_list:

item = item.strip()

if item:

k， v = item.split(split_symbol， 1)

data[k] = v.strip()

return data

import os

import requests

import json

import urllib3

import utils

class WxCrawler(object):

“”“翻页内容抓取”“”

urllib3.disable_warnings()

def init(self， appmsg_token， biz， cookie， begin_page_index = 0， end_page_index = 100):

起始页数

self.begin_page_index = begin_page_index

结束页数

self.end_page_index = end_page_index

抓了多少条了

self.num = 1

self.appmsg_token = appmsg_token

self.biz = biz

self.headers = {

“User-Agent”: “Mozilla/5.0 AppleWebKit/537.36 (KHTML， like Gecko) Version/4.0Chrome/57.0.2987.132 MQQBrowser/6.2 Mobile”，

“Cookie”: cookie

}

self.cookie = cookie

def article_list(self， context):

articles = json.loads(context).get(‘general_msg_list’)

return json.loads(articles)

def run(self):

翻页地址

page_url = “https://mp. weixin.qq.com/mp/profile_ext?action=getmsg&__biz={}&f=json&offset={}&count=10&is_ok=1&scene=&uin=777&key=777&pass_ticket={}&wxtoken=&appmsg_token=” + self.appmsg_token + “&x5=0f=json”

将 cookie 字典化

wx_dict = utils.str_to_dict(self.cookie， join_symbol=‘; ‘， split_symbol=’=’)

请求地址

response = requests.get(page_url.format(self.biz， self.begin_page_index * 10， wx_dict[‘pass_ticket’])， headers=self.headers， verify=False)

将文章列表字典化

articles = self.article_list(response.text)

for a in articles[‘list’]:

公众号中主条

if ‘app_msg_ext_info’ in a.keys() and ‘’ != a.get(‘app_msg_ext_info’).get(‘content_url’， ‘’):

print(str(self.num) + “条”， a.get(‘app_msg_ext_info’).get(‘title’)， a.get(‘app_msg_ext_info’).get(‘content_url’))

公众号中副条

if ‘app_msg_ext_info’ in a.keys():

for m in a.get(‘app_msg_ext_info’).get(‘multi_app_msg_item_list’， []):

print(str(self.num) + “条”， m.get(‘title’)， a.get(‘content_url’))

self.num = self.num + 1

self.is_exit_or_continue()

递归调用

最后

不知道你们用的什么环境，我一般都是用的Python3.6环境和pycharm解释器，没有软件，或者没有资料，没人解答问题，都可以免费领取（包括今天的代码），过几天我还会做个视频教程出来，有需要也可以领取~

给大家准备的学习资料包括但不限于：

Python 环境、pycharm编辑器/永久激活/翻译插件

python 零基础视频教程

Python 界面开发实战教程

Python 爬虫实战教程

Python 数据分析实战教程

python 游戏开发实战教程

Python 电子书100本

Python 学习路线规划

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化的资料的朋友，可以添加V获取：vip1024c （备注python）

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！
划

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化的资料的朋友，可以添加V获取：vip1024c （备注python）
[外链图片转存中…(img-RkBhOp2N-1713381446346)]

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！