Python:使用 MitmProxy 自动抓取微信公众号阅读数、点赞和再看数据

做了那么多年开发,自学了很多门编程语言,我很明白学习资源对于学一门新语言的重要性,这些年也收藏了不少的Python干货,对我来说这些东西确实已经用不到了,但对于准备自学Python的人来说,或许它就是一个宝藏,可以给你省去很多的时间和精力。

别在网上瞎学了,我最近也做了一些资源的更新,只要你是我的粉丝,这期福利你都可拿走。

我先来介绍一下这些东西怎么用,文末抱走。


(1)Python所有方向的学习路线(新版)

这是我花了几天的时间去把Python所有方向的技术点做的整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照上面的知识点去找对应的学习资源,保证自己学得较为全面。

最近我才对这些路线做了一下新的更新,知识体系更全面了。

在这里插入图片描述

(2)Python学习视频

包含了Python入门、爬虫、数据分析和web开发的学习视频,总共100多个,虽然没有那么全面,但是对于入门来说是没问题的,学完这些之后,你可以按照我上面的学习路线去网上找其他的知识资源进行进阶。

在这里插入图片描述

(3)100多个练手项目

我们在看视频学习的时候,不能光动眼动脑不动手,比较科学的学习方法是在理解之后运用它们,这时候练手项目就很适合了,只是里面的项目比较多,水平也是参差不齐,大家可以挑自己能做的项目去练练。

在这里插入图片描述

(4)200多本电子书

这些年我也收藏了很多电子书,大概200多本,有时候带实体书不方便的话,我就会去打开电子书看看,书籍可不一定比视频教程差,尤其是权威的技术书籍。

基本上主流的和经典的都有,这里我就不放图了,版权问题,个人看看是没有问题的。

(5)Python知识点汇总

知识点汇总有点像学习路线,但与学习路线不同的点就在于,知识点汇总更为细致,里面包含了对具体知识点的简单说明,而我们的学习路线则更为抽象和简单,只是为了方便大家只是某个领域你应该学习哪些技术栈。

在这里插入图片描述

(6)其他资料

还有其他的一些东西,比如说我自己出的Python入门图文类教程,没有电脑的时候用手机也可以学习知识,学会了理论之后再去敲代码实践验证,还有Python中文版的库资料、MySQL和HTML标签大全等等,这些都是可以送给粉丝们的东西。

在这里插入图片描述

这些都不是什么非常值钱的东西,但对于没有资源或者资源不是很好的学习者来说确实很不错,你要是用得到的话都可以直接抱走,关注过我的人都知道,这些都是可以拿到的。

网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。

需要这份系统化学习资料的朋友,可以戳这里获取

一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!

self.headers = {

“User-Agent”: “Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko) Version/4.0Chrome/57.0.2987.132 MQQBrowser/6.2 Mobile”,

“Cookie”: cookie

}

self.data = {

“is_only_read”: “1”,

“is_temp_url”: “0”,

“appmsg_type”: “9”,

}

def read_like_nums(self, article_url):

“”“获取数据”“”

appmsgstat = self.get_appmsgext(article_url)[“appmsgstat”]

return appmsgstat[“read_num”], appmsgstat[“old_like_num”], appmsgstat[“like_num”]

def get_params(self, article_url):

“”"

获取到文章url上的请求参数

:param article_url: 文章 url

:return:

“”"

url转义处理

article_url = html.unescape(article_url)

“”“获取文章链接的参数”“”

url_params = utils.str_to_dict(urlsplit(article_url).query, “&”, “=”)

return url_params

def get_appmsgext(self, article_url):

“”"

请求阅读数

:param article_url: 文章 url

:return:

“”"

url_params = self.get_params(article_url)

appmsgext_url = “https://mp. weixin.qq.com/mp/getappmsgext?appmsg_token={}&x5=0”.format(self.appmsg_token)

self.data.update(url_params)

appmsgext_json = requests.post(

appmsgext_url, headers=self.headers, data=self.data).json()

if “appmsgstat” not in appmsgext_json.keys():

raise Exception(appmsgext_json)

return appmsgext_json

if name == ‘main’:

info = Articles(‘1068_XQoMoGGBYG8Tf8k23jfdBr2H_LNekAAlDDUe2aG13TN2fer8xOSMyrLV6s-yWESt8qg5I2fJr1r9n5Y5’, ‘rewardsn=; wxtokenkey=777; wxuin=1681274216; devicetype=android-29; version=27001037; lang=zh_CN; pass_ticket=H9Osk2CMhrlH34mQ3w2PLv/RAVoiDxweAdyGh/Woa1qwGy2jGATJ6hhg7syTQ9nk; wap_sid2=COjq2KEGEnBPTHRVOHlYV2U4dnRqaWZqRXBqaWl3Xy1saXVWYllIVjAzdlM1VkNDNHgxeWpHOG9pckdkREMwTFEwYmNWMl9FZWtRU3pRRnhDS0pyV1BaZUVMWXN1ZWN0WnZ6aHFXdVBnbVhTY21BYnBSUXNCQUFBMLLAjfgFOA1AAQ==’)

a, b,c = info.read_like_nums(‘http://mp. weixin.qq.com/s?__biz=MzU1NDk2MzQyNg==&mid=2247486254&idx=1&sn=c3a47f4bf72b1ca85c99190597e0c190&chksm=fbdad3a3ccad5ab55f6ef1f4d5b8f97887b4a344c67f9186d5802a209693de582aac6429a91c&scene=27#wechat_redirect’)

print(a, b, c)

示例结果

阅读数 点赞数 再看数

1561 23 18

动态获取 cookie 和 appmsg_token


appmsg_token 是一个具有时效性的参数,和 cookie 一样是需要改变的,当这两个参数过期时就需要从抓包工具(MitmProxy 中)ctrl+C,ctrl+V到代码中,很是麻烦。

MitmProxy 可以使用命令行接口 mitmdumvp 运行 Python 代码监听抓取的链接,如果抓到了 https://mp. weixin.qq.com/mp/getappmsgext 就保存在本地文件并退出抓包

mitmdump 命令

-s 运行的python脚本, -w 将截取的内容保持到文件

mitmdump -s write_cookie.py -w outfile mp.weixin.qq.com/mp/getappmsgext

监听脚本

import urllib

import sys

from mitmproxy import http

command: mitmdump -s write_cookie.py -w outfile mp.weixin.qq.com/mp/getappmsgext

class WriterCookie:

“”"

mitmproxy的监听脚本,写入cookie和url到文件

“”"

def init(self, outfile: str) -> None:

self.f = open(outfile, “w”)

def response(self, flow: http.HTTPFlow) -> None:

“”"

完整的response响应

:param flow: flow实例,

“”"

获取url

url = urllib.parse.unquote(flow.request.url)

将url和cookie写入文件

if “mp. weixin.qq.com/mp/getappmsgext” in url:

self.f.write(url + ‘\n’)

self.f.write(str(flow.request.cookies))

self.f.close()

退出

exit()

第四个命令中的参数

addons = [WriterCookie(sys.argv[4])]

监听脚本写好之后,再来写启动命令和解析 url,cookie 文件的模块

import re

import os

class ReadCookie(object):

“”"

启动write_cookie.py 和 解析cookie文件,

“”"

def init(self, outfile):

self.outfile = outfile

def parse_cookie(self):

“”"

解析cookie

:return: appmsg_token, biz, cookie_str·

“”"

f = open(self.outfile)

lines = f.readlines()

appmsg_token_string = re.findall(“appmsg_token.+?&”, lines[0])

biz_string = re.findall(‘__biz.+?&’, lines[0])

appmsg_token = appmsg_token_string[0].split(“=”)[1][:-1]

biz = biz_string[0].split(“__biz=”)[1][:-1]

cookie_str = ‘; ‘.join(lines[1][15:-2].split(’], [’)).replace(‘’‘,’‘).replace(’, ', ‘=’)

return appmsg_token, biz, cookie_str

def write_cookie(self):

“”"

启动 write_cookie。py

:return:

“”"

#当前文件路径

path = os.path.split(os.path.realpath(file))[0]

mitmdump -s 执行脚本 -w 保存到文件 本命令

command = “mitmdump -s {}/write_cookie.py -w {} mp.weixin.qq.com/mp/getappmsgext”.format(

path, self.outfile)

os.system(command)

if name == ‘main’:

rc = ReadCookie(‘cookie.txt’)

rc.write_cookie()

appmsg_token, biz, cookie_str = rc.parse_cookie()

print(“appmsg_token:” + appmsg_token , “\nbiz:” + biz, “\ncookie:”+cookie_str)

示例结果

在这里插入图片描述

cookie.txt 文件内容解析后

appmsg_token:1068_av3JWyDn2XCS2fwFj3ICCnwArRb2kU4Y5Y5m9Z9NkWoCOszl3a-YHFfBkAguUlYQJi2dWo83AQT4FsNK

biz:MzU1NDk2MzQyNg==

cookie:rewardsn=; wxtokenkey=777; wxuin=1681274216; devicetype=android-29; version=27001037; lang=zh_CN; pass_ticket=H9Osk2CMhrlH34mQ3w2PLv/RAVoiDxweAdyGh/Woa1qwGy2jGATJ6hhg7syTQ9nk; wap_sid2=COjq2KEGEnBPTHRVOHlYV2U4dnRqaWZqRXBqaWktTHpUSEJnTTdhU0hVZTEtZXpZZEY4a3lNY29zc0VZeEFvLS01YmJRRnQ5eFRmR2dOY29nUWdKSTRVWG13WE1obGs1blhQcVh0V18tRnBSRnVlc1VhOHNCQUFBMPeIjfgFOA1AAQ==

ReadCookie 模块可以自动获取到 appmsg_token 和 cookie,将它们当作参数一样传递到 Articles 模块中,就能解放双手再也不要复制黏贴 appmsg_token 和 cookie 了,只要在 appmsg_token 过期时刷新一下公众号文章就可以了,省心又省时

批量抓取


在公众号历史消息界面将屏幕向上滑动,每次都可以加载 10 条历史消息,盲猜这个翻页就是批量抓取的请求链接,用 MitmProxy 的 WEBUI 界面在 Response 面板查找一下,找到一个是 https://mp. weixin.qq.com/mp/profile_ext?action=getmsg&__biz=MzU1NDk2MzQyNg==&f=json&offset=10&count=10… 的链接,它的响应返回值中有多个文章标题,再看这个链接上有 offset=10&count=10 参数,一看就是翻页偏移量和每页显示的条数,就它了

在这里插入图片描述

在链接中比较重要的参数有:__biz、offset、pass_ticket、appmsg_token ,这些数据都可以在 cookie 和 appmsg_token 中得到。

utils.py

工具模块,将字符串变成字典

def str_to_dict(s, join_symbol=“\n”, split_symbol=“:”):

s_list = s.split(join_symbol)

data = dict()

for item in s_list:

item = item.strip()

if item:

k, v = item.split(split_symbol, 1)

data[k] = v.strip()

return data

import os

import requests

import json

import urllib3

import utils

class WxCrawler(object):

“”“翻页内容抓取”“”

urllib3.disable_warnings()

def init(self, appmsg_token, biz, cookie, begin_page_index = 0, end_page_index = 100):

起始页数

self.begin_page_index = begin_page_index

结束页数

现在能在网上找到很多很多的学习资源,有免费的也有收费的,当我拿到1套比较全的学习资源之前,我并没着急去看第1节,我而是去审视这套资源是否值得学习,有时候也会去问一些学长的意见,如果可以之后,我会对这套学习资源做1个学习计划,我的学习计划主要包括规划图和学习进度表。

分享给大家这份我薅到的免费视频资料,质量还不错,大家可以跟着学习

网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。

需要这份系统化学习资料的朋友,可以戳这里获取

一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!

  • 27
    点赞
  • 16
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Python可以用于爬取微信公众号文章。有几种方式可以实现这一目标,其中一种方式是通过登录微信公众号平台,在里面搜索要爬取的公众号,然后进行抓包。另外一种方式是使用安卓模拟器进行抓包。还可以使用搜狗的微信模块来获取数据。 在使用第一种方式时,首先需要拥有一个微信公众号的账号。然后,通过工具如pycharm和fiddler等,登录微信公众号平台,进入创作管理,选择图文素材,然后创建或编辑文章。最后,通过添加引用和查找公众号文章等步骤,进行数据爬取和收集。 在实现这些步骤之前,你需要了解微信公众号平台的主要功能和界面布局。主面板可以划分为七大块,每个块都有不同的功能。在后续的操作中,你可以使用Python代码来模拟微信请求,并实现数据爬取和分析。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* *3* [欢度国庆⭐️共享爬虫之美⭐️基于 Python 实现微信公众号爬虫(Python无所不能爬)](https://blog.csdn.net/xiejiachao/article/details/120573509)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"] - *2* [【爬虫】python爬取微信公众号](https://blog.csdn.net/qq_36269293/article/details/109244944)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"] [ .reference_list ]

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值