微信公众号爬虫

最近研究了下微信公众号文章爬虫。发现很多公司都做了。做的最好的应该是新榜和清博了。

最为便捷的爬虫是爬取sougou 微信搜索引擎。但其微信的文章地址不固定的，所以只爬取链接，不爬取内容没意义。

大部分的爬虫都是基于网页。所以又有了另一个点子，爬取微信网页版，但其不能查看历史文章，有一定的局限性。

万能的搜索最终告诉了最好的解决方案利用http proxy，并且要支持https。因为微信pc版和手机版通讯协议都是https的。通过中间人代理，我们抓到到微信历史文章的真正地址如原创丨美国这一动作，或导致中国提前收台！。这里我使用了开源golang 的http代理。开源的爬虫都写好了sundy-li/wechat_spider。go 语言很类似c语言，使用起来极不习惯我把访问的历史文章地址 发送到spring mvc后台，再通过chrome driver爬取所有文章标题和链接。

借助于selenium chrome driver 这个爬虫终极神器。我们可以随意提取网页的任何元素。

最后借助于按键精灵对pc版的微信人工模拟操作。即可抓取所有关注的公众号历史文章。

如有需要源码，请加我微信

ru