python 爬取公众号文章_python批量爬取公众号文章

前言

本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理。

作者： 舴艋的舟

转载：Python爬取公众号文章​mp.weixin.qq.com

PS：如有需要Python学习资料的小伙伴可以加点击下方链接自行获取http://t.cn/A6Zvjdun

爬取的方法多种多样，今天和大家分享一种较为简单的方法，即通过微信公众号后台的“超链接”功能进行爬取。可能有些小伙伴没有接触过微信公众号的后台，这里贴张图让大家了解一下

到这里有些小伙伴可能会说，我不能登录公众号后台怎么办？？？

没关系，虽然我们每次爬虫目的是为了得到我们想要的结果，但这并不是我们学习的重点，我们学习的重点是爬虫的过程，是我们如何去得到目标数据，所以不能登录公众号后台的小伙伴看完这篇文章可能无法获取到最终的爬取结果，但是看完这篇文章你同样会有所收获。

一、前期准备

选择爬取的目标公众号

点击超链接–进入编辑超链接界面–输入搜索我们需要爬取的目标公众号

今天我们就以爬取“数据分析”这个公众号为例为大家进行介绍

点击公众号可以看到每篇文章对应的标题信息

我们这次爬虫的目标就是得到文章标题以及对应的链接。

二、开始爬虫

爬虫三步曲：请求网页

解析网页

保存数据

1、请求网页

首先导入我们本次爬虫需要用到的第三方库

import re#用来解析网页

import requests#用来请求网页

import csv#用来保存数据

import time#用来设置每次爬取间隔的时间

查找我们爬取的目标数据所在位置，点击通过查找得到的包，得到目标网址以及请求头信息

请求网页

headers={

'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.108 Safari/537.36',

'cookie': '