- 所需工具: python3.6 fidder抓包工具 Mysql数据库
第一步:
1.登录手机版微信,搜索到所爬取的公众号、在电脑端打开历史消息
2.打开fidder抓包工具、清除session、准备抓包
3.打开公众号历史信息界面向下滑动、滑动到第二页出现带有json标识的网址
第二步(点击json查看json数据是否和公众号文章符合)
这个就是我们需要的地址,直接点开用浏览器查看,offset就是关键参数,我们要修改的翻页参数.
第三步(Python代码部分)
def GZH():
iurl = input("请输入网址:")
for i in range(10):
page = "offset="+str(i*10)
ourl = iurl.replace("offset=0",page)
print(ourl)
headers = {'Host': 'mp.weixin.qq.com',
'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.2171.95 Safari/537.36 MicroMessenger/6.5.2.501 NetType/WIFI WindowsWechat QBCore/3.43.1021.400 QQBrowser/9.0.2524.400'
}
time.sleep(5)
req = request.Request(url=ourl, headers=headers)
HTML = request.urlopen(req)
html = HTML.read()
content1 = json.loads(html)
content = str(content1)
#print(content)
import re
title_list = re.findall(r'"title":"(.+?)"',content,re.S)
content_url_list = re.findall(r'"content_url":"(.+?)"',content, re.S)
for title, content_url in zip(title_list, content_url_list):
print(title, ',', content_url)
GZH()