python 公众号文章发布_Python 抓取微信公众号文章

版权声明：此文章转载自 Yushneng PyHub

如需转载请联系听云College团队成员阮小乙，邮箱：ruanqy#tingyun.com

微信公众号的文章链接有些是具有时效性的，过一段时间会变成参数错误而无法访问，但是我们发现从公众号后台点击过去得到的链接却是永久链接，其参数不会改变链接也不会失效，也就是说只要能够获得这些参数就可以得到永久链接。通过观察发现即使从搜狗搜索入口的有时效性的链接访问网页，其源码中也带有这些参数：

所以只要解析这几个参数，就可以构造出永久链接。

首先通过搜狗搜索入口，可以获取 Python 关键词搜索的结果，地址为：HOST = 'http://weixin.sogou.com/'

entry = HOST + "weixin?type=2&query=Python&page={}"

提取链接、标题和摘要信息：import requests as req

import re

rInfo = r'

([\s\S]*?)[\s\S]*?\s*

([\s\S]*?)'

html  = req.get(entry.format(1)) # 第一页

infos = re.findall(rInfo, html)

由于关键词搜索会在标题或摘要中产生特定格式的标签，需要过滤：def remove_tags(s):

return re.sub(r'<.>', '', s)

然后根据时效性链接获取文章内容，并从中提取参数信息：from html import unescape

from urllib.parse import urlencode

def weixin_params(link):

html = req.get(link)

rParams = r'var (biz =.*?".*?");\s*var (sn =.*?".*?");\s*var (mid =.*?".*?");\s*var (idx =.*?".*?");'

params = re.findall(rParams, html)

if len(params) == 0:

return None

return {i.split('=')[0].strip(): i.split('=', 1)[1].strip('|" ') for i in params[0]}

for (link, title, abstract) in infos:

title    = unescape(self.remove_tag(title))

abstract = unescape(self.remove_tag(abstract))

params   = weixin_params(link)

if params is not None:

link = "http://mp.weixin.qq.com/s?" + urlencode(params)

print(link, title, abstract)

由此可以收集到以 Python 为关键词的微信公众号文章，包括链接、标题和摘要。如需文章内容也可以随时通过链接提取，但是为了尊重创作者，请在抓取文章正文的时候请检查原创信息并合理标注作者及引用信息。

想阅读更多技术文章，请访问听云技术博客，访问听云官方网站感受更多应用性能优化魔力。