拒绝低效，Python教你爬虫公众号文章和链接

前言

上一篇文章整理了的公众号所有文章的导航链接，其实如果手动整理起来的话，是一件很费力的事情，因为公众号里添加文章的时候只能一篇篇的选择，是个单选框。

 

面对几百篇的文章，这样一个个选择的话，是一件苦差事。

pk哥作为一个 Pythoner，当然不能这么低效，我们用爬虫把文章的标题和链接等信息提取出来。

抓包

我们需要通过抓包提取公众号文章的请求的 URL，参考之前写过的一篇抓包的文章

为了过滤掉其他无关请求，我们在左下方设置下我们要抓取的域名。

打开 PC 端微信，打开 「Python知识圈」公众号文章列表后，Charles 就会抓取到大量的请求，找到我们需要的请求，返回的 JSON 信息里包含了文章的标题、摘要、链接等信息，都在 commmsginfo 下面。