重新梳理一下通过公众号抓列表的过程。
写新图文-超链接
输入公众号的名字,点击右侧放大镜,然后就看到下图
一直拖到底,这些是5天的文章量。假如每天更新,每次6篇文章,那么这一页有30篇文章。
点击一个翻页
上图是F12开发者模式的样子
url已经变了,一些老一点的文章都不对了,现在是 https://mp.weixin.qq.com/cgi-bin/appmsgpublish
url后面就是params,也可以点击标头右边的”负载“看到。
params里的begin 和 count 其实是可以自己定义的,begin并非一定得是0、5、10、15。但是count最多就是20,写多了也没有用。
为了减少对服务器的访问次数,可以把count就写成20,但是你的begin就得是0,20,40……
那么,一次就能抓下来20天的。
response1 = requests.get(……).json()
抓到是数据response1里,最靠前有个total_count,这就是该公众号发文总天数,可以用这个来监视公众号是否有更新。
那些以publish_开头的键值对很多。publish就是一次公众号的群发。假如每天更新的话,坚持了一年,就有365个publish . 上面说的begin 和 count也是对应的publish
每个publish 会有1-多篇文章,每个文章有aid,create_time, title, link
基本上,把这些信息抓下来就行了。有了link , 剩下的获取内容实际上是访问link,属于静态网页,随时随地都可以访问或者抓取。
保存的问题,不建议保存成csv,因为excel打开会乱码。yaml也没必要。txt就行。有文章把抓取的内容保存在数据库里,那些收费的成熟工具都是这样的,这样也行。你要是会安装数据库,就可以保存在数据库里,毕竟检索会方便些。要是不会就保存成txt。