前言
爬取微信公众号是一个很艰难的工作,这里说的是最简单的一种方法,当然也是有很多缺陷的。项目的源码:github.com/zjhpure/cra…
原理
通过wxpy框架登录网页微信,实时获取最新的微信公众号文章。
背景
wxpy框架是一个微信聊天机器人框架,wxpy框架基于itchat框架,itchat框架也是一个微信聊天机器人框架,wxpy框架是改进了itchat框架的微信聊天机器人框架,在网页微信中是可以获取到最新的微信公众号推送的,所以用wxpy框架爬取微信公众号文章也是可以的。
源码
核心代码很简单,不超过50行,
# coding: utf-8
from wxpy import *
# 初始化机器人,扫码登陆,在命令行上登录console_qr参数必须设置为True
# 因为在命令行登录不会弹出二维码图片,只会在命令行上直接生成二维码
bot = Bot(console_qr=True)
# 打印来自其他好友、群聊和公众号的消息
@bot.register()
def print_others(msg):
print('msg:' + str(msg))
articles = msg.articles
if articles is not None:
for article in articles:
print('title:' + str(article.title))
print('summary:' + str(article.summary))
print('url:' + str(article.url))
print('cover:' + str(article.cover))
if __name__ == '__main__':
# 或者仅仅堵塞线程
bot.join()
复制代码
执行上面代码后,命令行界面会出现二维码,打开微信扫二维码,登录网页微信,挂着网页微信实时接收微信公众号推送。
注意
这里有个问题,就是article里没有文章的发表时间,这一点我觉得有些奇怪,因为我通过抓包网页微信是看到有微信公众号文章推送的时间戳的,按理说这里的article应该要有个发表时间的属性的。以下是wxpy框架articles方法的源码,并没有发现有发表时间的这一属性,
@property
def articles(self):
"""
公众号推送中的文章列表 (首篇的 标题/地址 与消息中的 text/url 相同)
其中,每篇文章均有以下属性:
* `title`: 标题
* `summary`: 摘要
* `url`: 文章 URL
* `cover`: 封面或缩略图 URL
"""
from wxpy import MP
if self.type == SHARING and isinstance(self.sender, MP):
tree = ETree.fromstring(self.raw['Content'])
# noinspection SpellCheckingInspection
items = tree.findall('.//mmreader/category/item')
article_list = list()
for item in items:
def find_text(tag):
found = item.find(tag)
if found is not None:
return found.text
article = Article()
article.title = find_text('title')
article.summary = find_text('digest')
article.url = find_text('url')
article.cover = find_text('cover')
article_list.append(article)
return article_list
复制代码
因为wxpy框架是基于itchat框架的,所以我推测有可能是wxpy框架没有继承itchat里的文章发表时间数据,或者itchat框架本身就没有文章发表时间的数据。这个问题可以用一个折中的方法,如果文章的发表时间的准确性对于你的业务来说没有多大影响的,可以用接收到推送的时间作为文章的发表时间,但是如果文章发表时间的准确性很重要就不行了,因为接收到推送的时间会有延迟,而且也可能会出现凌晨前发出的文章,凌晨后爬虫服务器才接收到推送,那发表时间的日期就错了,而且也会有可能爬虫服务器的时间本身就出错了。
缺陷
用网页微信这种方法来爬取微信公众号,只能爬取到最新推送的公众号文章,不能爬取微信公众号历史消息,因为网页微信本身就没有查看微信公众号历史消息的功能,但是这种方法却能很及时地爬取到微信公众号的最新推送,但是一旦爬取时出了错,就无法挽回了。
提醒
要注意封号的问题,不能挂着时间太长,因为一个正常的微信号是不会很长时间挂着网页微信的,可以尝试用多个微信号轮流切换着挂网页微信。微信从大概2017年年尾起,新注册的微信号都不能登录网页微信了,所以只能用旧号。
后序
微信爬取公众号不能只用一种方法,只用一种方法存在很大的风险,需要多种方法结合一起用,多种方法竞争获取文章列表源,添加到文章队列中,再由另外一个服务不断地获取文章队列来爬取文章。
个人微信公众号
微信公众号:纯洁编程说(chunjie_tech)