微信爬虫服务器,为什么现在那么多爬虫，却没有爬取微信公众号文章的案例？...

做IT行业的都知道，爬虫，是近几年特别火的技术，尤其是漫天遍野的python培训班的广告更是眼花缭乱。

然而，所有想要写爬虫的人普遍都会产生疑问：网上那么多爬虫，怎么就没有爬取微信公众号文章的呢？

原因特别简单，爬虫自动爬取全部内容，需要以下步骤：

1，找到目标资源索引页，可以实现逐步翻页，拿到所有目标资源文件的url。

2，逐个url访问，把内容拿下来解析成自己的结构。

3，对外或者自己使用。

常见的爬虫很多，比如搜索引擎本身就是个爬虫，当然这里往往叫做蜘蛛。蜘蛛也是爬虫。

微信公众号发布的文章，电脑浏览器是可以直接打开的，因此使用爬虫抓内容其实并非难事。既然访问单个资源不难，那么后面的使用过程就更不是问题，可问题在第一步：索引页在哪？

大家知道微信是个“私域流量”，虽然微信的内容，都是对外公布在互联网，但是实际上，想看一篇文章，如果不是被人转发过来，你可能得先自己去关注公众号，然后从公众号去找文章，这个过程，仅限于微信APP下。对pc端浏览器并不开放

有人会反驳，为什么搜狗可以搜索微信文章？

这就得看看搜狗的股东，微信的股东有没有共同之处了，这里我不必多说，大家都知道，微信归腾讯所有，搜狗被腾讯注入了股权。也就是说，搜狗跟微信，其实算是同一家子。既然是一家人，那么自然就可以做点别人做不到的密切合作：提供入口。

这里首先明显是一个内部合作：搜狗能抓取到微信内容，一定是微信允许的，具体实现过程，可以是搜狗找微信了解了全部文章的索引规则，也可以是微信主动讲文章链接推送给了搜狗。具体是哪个方向，我们是外人，无从而知。但是大体来说无非就是这两个方向的逻辑。

然后问题来了：“爬虫学的好，牢饭吃得好”。这句话真不是个段子，爬虫是要有规则的，不是谁都可以写个爬虫就放心的用。我以前写过一篇文章《爬虫应当注意什么？爬来的数据怎么使用？》，建议大家参考下，作为技术人员，一定要注意不要因为技术，越过法律边界。