公众号简单爬虫--把公众号文章全部转载到网站（一）

Ps：经历两个多月家里的麻烦事，泛舟终于又有空更新了。

起因是之前帮一个朋友做一个企业网站，没有啥功能，单纯的展示和发布信息。其实是很简单的事情，随便下载个个人博客源码，改一下，以为就可以了，但是。。。。他要把公众号里的历史信息全部搬到网站上，如果手工一篇一篇复制，那也是及其痛苦的事情，于是泛舟只能用爬虫了。

Ps:本文用51cto的公众号做例子.

好消息是，要的是文章内容，不是点赞数和阅读数，可以免去好大的麻烦。

那么这个任务的目的很简单，复制公众号上的文章，然后粘贴到网站里面。具体需要什么内容呢?安装好网站,然后进入后台,添加文章那里看到:

文章标题,文章作者,文章来源,缩略图,文章描述,文章内容,都是我们需要的内容.其实很好找,除了具体文章内容,其他基本在公众号的历史消息页全部都有了.

 

就是用爬虫把公众号的所有历史文章都爬下来。然后根据连接,再爬具体网页内容.分两步处理,其中关键是如何爬取历史信息.

需要用到抓包工具Fiddler,思路是这样的:

打开Fiddler软件,清除所有Sessions,