【Python】爬取公众号历史文章

1、获取公众号首页地址

模版链接如下：

https://mp.weixin.qq.com/mp/profile_ext?action=home&__biz=xxxxxx

找一篇公众号文章，通过浏览器打开，按F12获取biz=MzkyNDY2OTgzOQ%3D%3D

替换模版链接中的biz使用微信浏览器打开

https://mp.weixin.qq.com/mp/profile_ext?action=home&__biz=MzkyNDY2OTgzOQ%3D%3D

2、安装配置抓包工具

下载地址：

https://reqable.com/zh-CN/

代理配置：打开工具后一般会自动配置这个，如果没有的话自己配置一下

3、获取目标链接

1、打开抓包工具

打开抓包工具之后，点击启动。

2、打开目标公众号

关注目标公众号，并在微信中打开目标公众号的首页地址

3、获取历史文章接口

下拉浏览公众号历史文章，在抓包工具中获取公众号历史文章接口

offset=0&count=10 这两个参数是抓取数据的关键

4、代码编写

1、header格式化

使用在线格式化工具

https://kgtools.cn/compression/header

使用则表达式替换

(.*?):(.*)   替换为 '1':'$2',

由于抓包工具的cookie显示成多个，header处理的时候先不管cookie

2、cookie获取

两种cookie内容不一样，任意选一种就可以了

抓包工具的最后一行cookie值也可以使用

使用浏览器打开目标URL，按F12获取cookie