GitHub 微信公众号爬虫推荐

GitHub 微信公众号爬虫推荐

本文推荐 GitHub 微信公众号爬虫article_spider 。

微信公众号爬虫有别于一般的网页爬虫，由于是一个相对封闭的内容平台，入口比较少，所以难度就有点大了。大概查找了一下，发觉基本上不能自动化的，无论是用 Selenium ，抓包工具（Fiddler）；还是从搜狗微信搜索，”管理”-“素材管理”中的“公众号查找”，都只能是实现半自动化。而且有很多文章介绍的方法或是从 GitHub 上找到的大多源码都不能用了。

最近也有保存微信公众号历史文章的需求，想着由于时间关系以及难度关系就不重复造轮子了。幸运的是从 GitHub 上找到了一个可用的源码仓库article_spider，（地址是：https://github.com/f111fei/article_spider）在此感谢源码作者。

article_spider 已经实现以下功能：

1. 爬取公众号所有文章数据
2. 支持自动识别验证码
3. 离线数据库，包含文章原始信息，文章图片
4. 微信文章预览

article_spider 的 README 写得很明了，除了开箱即用，还是源码学习的好材料。

如