基本开发环境
Python 3.6
皮查姆
爬取两个公众号的文章:
1,爬取青灯编程公众号所有的文章
2,爬取所有关于python的公众号文章
爬取青灯编程公众号所有的文章
1,登陆公众号之后点击图文
2,打开开发者工具
3,点击超链接
相关的数据加载出来,就有关于数据包,包含了文章标题,链接,摘要,发布时间等等,也可以选择其他的公众号也可以爬取的,但是这需要你有一个微信公众号。
要加cookie
import pprint
import time
import requests
import csv
f = open('青灯公众号文章.csv', mode='a', encoding='utf-8', newline='')
csv_writer = csv.DictWriter(f, fieldnames=['标题', '文章发布时间', '文章地址'])
csv_writer.writeheader()
for page in range(0, 40, 5):
url = f'https://mp.weixin.qq.com/cgi-bin/appmsg?action=list_ex&begin={
page}&count=5&fakeid=&type=9&query=&token=1252678642&lang=zh_CN&f=json&ajax=1'
headers =