python爬取公众号文章数据库_Python selenium爬取微信公众号文章代码详解

参照资料：selenium webdriver添加cookie: https://www.jb51.net/article/193102.html

需求：

想阅读微信公众号历史文章，但是每次找回看得地方不方便。

思路：

1、使用selenium打开微信公众号历史文章，并滚动刷新到最底部，获取到所有历史文章urls。

2、对urls进行遍历访问，并进行下载到本地。

实现

1、打开微信客户端，点击某个微信公众号->进入公众号->打开历史文章链接(使用浏览器打开)，并通过开发者工具获取到cookies，保存为excel。

2、启动webdriver，并添加相应cookies。

browser = webdriver.Chrome()

wait = WebDriverWait(browser,10)

# 随便访问一个地址，然后才能设置cookies

browser.get('https://httpbin.org/get')

# 添加cookies,df为保存的excel cookies

for i in range(len(df)):

cookie_dict = {

"domain": df.loc[i,'DomaiN'],

'name': df.loc[i,'Name'],

'value': str(df.loc[i,'Value']),

"