基于python抓取微信公众号的实验爬虫

Python爬取微信公众号

工具准备
fiddler+pycharm
fiddler设置手机端代理抓包
找到一段相似代码

这里返回一段json数据，json解析后得到
对比手机端
此页面可以拿到该公众号所有的历史文章链接，这样一来思路就有了，我们需要去这个页面。配合appium和mitmproxy就可以获取到所有数据。
#-安装mitmproxy pip install mitmproxy
#- appium需要去官网下载appium传送门

#mitmproxy 可以配合python脚本使用不过需要函数固定格式
def response(flow):
"""抓包"""
	if 'qq.com/mp/profile_ext?action=getmsg' in flow.request