python3 scrapy爬取微信公众号及历史信息V1.0

环境：

python3 scrapy

目的

写这篇文章主要是做一下纪念，毕竟是搞了快两天的东西了，今天加大了量，使用scrapy爬取100多个微信公众号，然后出现IP被封的情况下，当然了，这种情况并不是没有办法解决，只需要在scrapy中进行设置一下就可以了，主要是在本地进行调试，然后IP代理池那一块暂时找不到好的质量高的IP，只是爬取了各大网站的免费IP，并没有很好的解决效果，这个版本只要在IP中稍微进行下设置调整，可以不愧为一个很好的爬取微信公众号历史消息的一个小案例。

爬取步骤

1. 找到公众号
   

2. 获取历史消息
   

3. 获取详情页内容
   

还有第4步：

将详情页内容解析出来，图片，文字都单独拎出来，现在暂时不做处理，因为这一块有些麻烦的。逻辑整体就是这样。

python代码

这里是spider的代码，其他的就不用贴出来了：

spiders/WeChatSogou.py

# -*- coding: utf