请求阅读数
:param article_url: 文章 url
:return:
“”"
url_params = self.get_params(article_url)
appmsgext_url = “https://mp. weixin.qq.com/mp/getappmsgext?appmsg_token={}&x5=0”.format(self.appmsg_token)
self.data.update(url_params)
appmsgext_json = requests.post(
appmsgext_url, headers=self.headers, data=self.data).json()
if “appmsgstat” not in appmsgext_json.keys():
raise Exception(appmsgext_json)
return appmsgext_json
if name == ‘main’:
info = Articles(‘1068_XQoMoGGBYG8Tf8k23jfdBr2H_LNekAAlDDUe2aG13TN2fer8xOSMyrLV6s-yWESt8qg5I2fJr1r9n5Y5’, ‘rewardsn=; wxtokenkey=777; wxuin=1681274216; devicetype=android-29; version=27001037; lang=zh_CN; pass_ticket=H9Osk2CMhrlH34mQ3w2PLv/RAVoiDxweAdyGh/Woa1qwGy2jGATJ6hhg7syTQ9nk; wap_sid2=COjq2KEGEnBPTHRVOHlYV2U4dnRqaWZqRXBqaWl3Xy1saXVWYllIVjAzdlM1VkNDNHgxeWpHOG9pckdkREMwTFEwYmNWMl9FZWtRU3pRRnhDS0pyV1BaZUVMWXN1ZWN0WnZ6aHFXdVBnbVhTY21BYnBSUXNCQUFBMLLAjfgFOA1AAQ==’)
a, b,c = info.read_like_nums(‘http://mp. weixin.qq.com/s?__biz=MzU1NDk2MzQyNg==&mid=2247486254&idx=1&sn=c3a47f4bf72b1ca85c99190597e0c190&chksm=fbdad3a3ccad5ab55f6ef1f4d5b8f97887b4a344c67f9186d5802a209693de582aac6429a91c&scene=27#wechat_redirect’)
print(a, b, c)
示例结果
阅读数 点赞数 再看数
1561 23 18
appmsg_token 是一个具有时效性的参数,和 cookie 一样是需要改变的,当这两个参数过期时就需要从抓包工具(MitmProxy 中)ctrl+C,ctrl+V到代码中,很是麻烦。
MitmProxy 可以使用命令行接口 mitmdumvp 运行 Python 代码监听抓取的链接,如果抓到了 https://mp. weixin.qq.com/mp/getappmsgext 就保存在本地文件并退出抓包
mitmdump 命令
-s 运行的python脚本, -w 将截取的内容保持到文件
mitmdump -s write_cookie.py -w outfile mp.weixin.qq.com/mp/getappmsgext
监听脚本
import urllib
import sys
from mitmproxy import http
command: mitmdump -s write_cookie.py -w outfile mp.weixin.qq.com/mp/getappmsgext
class WriterCookie:
“”"
mitmproxy的监听脚本,写入cookie和url到文件
“”"
def init(self, outfile: str) -> None:
self.f = open(outfile, “w”)
def response(self, flow: http.HTTPFlow) -> None:
“”"
完整的response响应
:param flow: flow实例,
“”"
获取url
url = urllib.parse.unquote(flow.request.url)
将url和cookie写入文件
if “mp. weixin.qq.com/mp/getappmsgext” in url:
self.f.write(url + ‘\n’)
self.f.write(str(flow.request.cookies))
self.f.close()
退出
exit()
第四个命令中的参数
addons = [WriterCookie(sys.argv[4])]
监听脚本写好之后,再来写启动命令和解析 url,cookie 文件的模块
import re
import os
class ReadCookie(object):
“”"
启动write_cookie.py 和 解析cookie文件,
“”"
def init(self, outfile):
self.outfile = outfile
def parse_cookie(self):
“”"
解析cookie
:return: appmsg_token, biz, cookie_str·
“”"
f = open(self.outfile)
lines = f.readlines()
appmsg_token_string = re.findall(“appmsg_token.+?&”, lines[0])
biz_string = re.findall(‘__biz.+?&’, lines[0])
appmsg_token = appmsg_token_string[0].split(“=”)[1][:-1]
biz = biz_string[0].split(“__biz=”)[1][:-1]
cookie_str = ‘; ‘.join(lines[1][15:-2].split(’], [’)).replace(‘’‘,’‘).replace(’, ', ‘=’)
return appmsg_token, biz, cookie_str
def write_cookie(self):
“”"
启动 write_cookie。py
:return:
“”"
#当前文件路径
path = os.path.split(os.path.realpath(file))[0]
mitmdump -s 执行脚本 -w 保存到文件 本命令
command = “mitmdump -s {}/write_cookie.py -w {} mp.weixin.qq.com/mp/getappmsgext”.format(
path, self.outfile)
os.system(command)
if name == ‘main’:
rc = ReadCookie(‘cookie.txt’)
rc.write_cookie()
appmsg_token, biz, cookie_str = rc.parse_cookie()
print(“appmsg_token:” + appmsg_token , “\nbiz:” + biz, “\ncookie:”+cookie_str)
示例结果
cookie.txt 文件内容解析后
appmsg_token:1068_av3JWyDn2XCS2fwFj3ICCnwArRb2kU4Y5Y5m9Z9NkWoCOszl3a-YHFfBkAguUlYQJi2dWo83AQT4FsNK
biz:MzU1NDk2MzQyNg==
cookie:rewardsn=; wxtokenkey=777; wxuin=1681274216; devicetype=android-29; version=27001037; lang=zh_CN; pass_ticket=H9Osk2CMhrlH34mQ3w2PLv/RAVoiDxweAdyGh/Woa1qwGy2jGATJ6hhg7syTQ9nk; wap_sid2=COjq2KEGEnBPTHRVOHlYV2U4dnRqaWZqRXBqaWktTHpUSEJnTTdhU0hVZTEtZXpZZEY4a3lNY29zc0VZeEFvLS01YmJRRnQ5eFRmR2dOY29nUWdKSTRVWG13WE1obGs1blhQcVh0V18tRnBSRnVlc1VhOHNCQUFBMPeIjfgFOA1AAQ==
ReadCookie 模块可以自动获取到 appmsg_token 和 cookie,将它们当作参数一样传递到 Articles 模块中,就能解放双手再也不要复制黏贴 appmsg_token 和 cookie 了,只要在 appmsg_token 过期时刷新一下公众号文章就可以了,省心又省时
在公众号历史消息界面将屏幕向上滑动,每次都可以加载 10 条历史消息,盲猜这个翻页就是批量抓取的请求链接,用 MitmProxy 的 WEBUI 界面在 Response 面板查找一下,找到一个是 https://mp. weixin.qq.com/mp/profile_ext?action=getmsg&__biz=MzU1NDk2MzQyNg==&f=json&offset=10&count=10… 的链接,它的响应返回值中有多个文章标题,再看这个链接上有 offset=10&count=10 参数,一看就是翻页偏移量和每页显示的条数,就它了
在链接中比较重要的参数有:__biz、offset、pass_ticket、appmsg_token ,这些数据都可以在 cookie 和 appmsg_token 中得到。
utils.py
工具模块,将字符串变成字典
def str_to_dict(s, join_symbol=“\n”, split_symbol=“:”):
s_list = s.split(join_symbol)
data = dict()
for item in s_list:
item = item.strip()
if item:
k, v = item.split(split_symbol, 1)
data[k] = v.strip()
return data
import os
import requests
import json
import urllib3
import utils
class WxCrawler(object):
“”“翻页内容抓取”“”
urllib3.disable_warnings()
def init(self, appmsg_token, biz, cookie, begin_page_index = 0, end_page_index = 100):
起始页数
self.begin_page_index = begin_page_index
结束页数
self.end_page_index = end_page_index
抓了多少条了
self.num = 1
self.appmsg_token = appmsg_token
self.biz = biz
self.headers = {
“User-Agent”: “Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko) Version/4.0Chrome/57.0.2987.132 MQQBrowser/6.2 Mobile”,
“Cookie”: cookie
}
self.cookie = cookie
def article_list(self, context):
articles = json.loads(context).get(‘general_msg_list’)
return json.loads(articles)
def run(self):
翻页地址
page_url = “https://mp. weixin.qq.com/mp/profile_ext?action=getmsg&__biz={}&f=json&offset={}&count=10&is_ok=1&scene=&uin=777&key=777&pass_ticket={}&wxtoken=&appmsg_token=” + self.appmsg_token + “&x5=0f=json”
将 cookie 字典化
wx_dict = utils.str_to_dict(self.cookie, join_symbol=‘; ‘, split_symbol=’=’)
请求地址
response = requests.get(page_url.format(self.biz, self.begin_page_index * 10, wx_dict[‘pass_ticket’]), headers=self.headers, verify=False)
将文章列表字典化
articles = self.article_list(response.text)
for a in articles[‘list’]:
公众号中主条
if ‘app_msg_ext_info’ in a.keys() and ‘’ != a.get(‘app_msg_ext_info’).get(‘content_url’, ‘’):
print(str(self.num) + “条”, a.get(‘app_msg_ext_info’).get(‘title’), a.get(‘app_msg_ext_info’).get(‘content_url’))
自我介绍一下,小编13年上海交大毕业,曾经在小公司待过,也去过华为、OPPO等大厂,18年进入阿里一直到现在。
深知大多数Python工程师,想要提升技能,往往是自己摸索成长或者是报班学习,但对于培训机构动则几千的学费,着实压力不小。自己不成体系的自学效果低效又漫长,而且极易碰到天花板技术停滞不前!
因此收集整理了一份《2024年Python开发全套学习资料》,初衷也很简单,就是希望能够帮助到想自学提升又不知道该从何学起的朋友,同时减轻大家的负担。
既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,基本涵盖了95%以上Python开发知识点,真正体系化!
由于文件比较大,这里只是将部分目录大纲截图出来,每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频,并且后续会持续更新
如果你觉得这些内容对你有帮助,可以添加V获取:vip1024c (备注Python)
文末有福利领取哦~
👉一、Python所有方向的学习路线
Python所有方向的技术点做的整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照上面的知识点去找对应的学习资源,保证自己学得较为全面。
👉二、Python必备开发工具
👉三、Python视频合集
观看零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。
👉 四、实战案例
光学理论是没用的,要学会跟着一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。(文末领读者福利)
👉五、Python练习题
检查学习结果。
👉六、面试资料
我们学习Python必然是为了找到高薪的工作,下面这些面试题是来自阿里、腾讯、字节等一线互联网大厂最新的面试资料,并且有阿里大佬给出了权威的解答,刷完这一套面试资料相信大家都能找到满意的工作。
👉因篇幅有限,仅展示部分资料,这份完整版的Python全套学习资料已经上传
https://img-blog.csdnimg.cn/e78afb3dcb8e4da3bae5b6ffb9c07ec7.png)
👉五、Python练习题
检查学习结果。
👉六、面试资料
我们学习Python必然是为了找到高薪的工作,下面这些面试题是来自阿里、腾讯、字节等一线互联网大厂最新的面试资料,并且有阿里大佬给出了权威的解答,刷完这一套面试资料相信大家都能找到满意的工作。
👉因篇幅有限,仅展示部分资料,这份完整版的Python全套学习资料已经上传