2021-01-22
分布式爬虫项目结构polyInfo.py# -*- coding: utf-8 -*-"""1.分布式爬虫2002.04.28 潘叶舟爬快了要封号单独一台主机也能运行如果阻塞了 一般都是代理阻塞的 HeadersPoolAndLogin.py 的 s.get(url, headers=headers, proxies=proxies 位置 pipelines.py 的 NIMS_PoLyInfo.middlewares.ProxyDownloadMiddleware
复制链接