python3 scrapy爬取微信公众号及历史信息V2.0

最新推荐文章于 2024-08-13 08:19:56 发布

xudailong_blog

最新推荐文章于 2024-08-13 08:19:56 发布

阅读量1.8k

点赞数 1

分类专栏： # python3爬虫 # 微信公众号爬虫我的python3爬虫之路文章标签： python3 scrapy 微信公众号爬虫历史消息 python3爬虫项目

本文链接：https://blog.csdn.net/xudailong_blog/article/details/80444957

版权

代码部分，日后补充：

# -*- coding: utf-8 -*-
# @Time    : 2018/2/25 14:24
# @Author  : 蛇崽
# @Email   : 643435675@QQ.com
# @File    : WeChatSogou.py（微信公众号爬虫：不包含浏览量跟评论）
import scrapy
import re
import time
import json
import requests
from fake_useragent import UserAgent
from scrapy import Request
from scrapy_redis.spiders import RedisSpider
from News_scrapy.items import NewsItem
from News_scrapy.constants.WeChatSource import WXSource


class WeChatSogouSpider(scrapy.Spider):
    name = "WeChatAiWeiBang"
    allowed_domains = ["aiweibang.com", 'mp.weixin.qq.com']
    start_urls = ['http://top.aiweibang.com/user/search_advanced']