python实现网络爬虫代码_精通python网络爬虫之自动爬取网页的爬虫 代码记录

1 # - * -编码:utf - 8 - * -23 # Scrapy设置autopjt project4 # 5 #为简单起见,这个文件只包含设置考虑重要or6 #常用。您可以找到更多的设置咨询文档:7 # 89101112 BOT_NAME = autopjt 1314 SPIDER_MODULES = [] 15 NEWSPIDER_MODULE = \4142 #覆盖默认的请求头:43 # DEFAULT_REQUEST_HEADERS ={44 #\u201C接受\u201D:\u201C* \/ *\u201D,45 #的接收语言:\u201Cen\u201D, 46 #} 4748 #启用或禁用蜘蛛middlewares49 # See50 # SPIDER_MIDDLEWARES ={51 #\u201D: 543年,52 #}5354 #启用或禁用下载middlewares55 # See56 # DOWNLOADER_MIDDLEWARES ={57 #\u201D: 543年,58 #}5960 #启用或禁用extensions61 # See62 #扩展={63 #\u201D:没有,64 #}6566 #配置项pipelines67 # See68 ITEM_PIPELINES ={69\u201D: 300年,70}7172 #启用和配置自动油门扩展(默认情况下禁用)73 # See74 # AUTOTHROTTLE_ENABLED = True75 #初始下载delay76 # AUTOTHROTTLE_START_DELAY = 577 #的最大下载延迟设置高latencies78 # AUTOTHROTTLE_MAX_DELAY = 6079 #请求的平均数量Scrapy应该并行发送每个远程server81 to80 # # AUTOTHROTTLE_TARGET_CONCURRENCY = 82 #启用显示节流统计每一个接收到的响应:83 # AUTOTHROTTLE_DEBUG = False8485 #启用和配置HTTP缓存(默认情况下禁用)86 # See87 # HTTPCACHE_ENABLED = True88 # HTTPCACHE_EXPIRATION_SECS = 089 # HTTPCACHE_DIR = httpcache 90 # HTTPCACHE_IGNORE_HTTP_CODES = [] 91 # HTTPCACHE_STORAGE = \