RUN__IT # scrapy的配置文件

#项目名称，默认的USER_AGENT由它来构成，也作为日志记录的日志名
BOT_NAME = 'jianshu_spider'
 
# Scrapy搜索spider的模块列表 默认: [xxx.spiders]
SPIDER_MODULES = ['jianshu_spider.spiders']
#使用 genspider 命令创建新spider的模块。默认: 'xxx.spiders'
NEWSPIDER_MODULE = 'jianshu_spider.spiders'
 
 
# 爬取的默认User-Agent，除非被覆盖
#USER_AGENT = 'jianshu_spider (+http://www.yourdomain.com)'
 
# 机器协议，（True开启/False关闭）
ROBOTSTXT_OBEY = False
 
# Scrapy downloader 并发请求(concurrent requests)的最大值,默认: 16
#CONCURRENT_REQUESTS = 32
 
# 为同一网站的请求配置延迟（默认值：0）
# 下载器在下载同一个网站下一个页面前需要等待的时间,该选项可以用来限制爬取速度,减轻服务器压力。同时也支持小数:0.25 以秒为单位
DOWNLOAD_DELAY = 1
#下载延迟设置只有一个有效
# 对单个网站进行并发请求的最大值。
#CONCURRENT_REQUESTS_PER_DOMAIN = 16
# 对单个IP进行并发请求的最大值。如果非0,则忽略
#CONCURRENT_REQUESTS_PER_IP = 16
 
#禁用Cookie（默认情况下启用）
#COOKIES_ENABLED = False
 
#禁用Telnet控制台（默认启用）
#TELNETCONSOLE_ENABLED = False
 
#覆盖默认请求标头：
DEFAULT_REQUEST_HEADERS = {
  'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
  'Accept-Language': 'en',
  'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.98 Safari/537.36'
}
 
#启用或禁用爬虫中间件
# See https://doc.scrapy.org/en/latest/topics/spider-middleware.html
#SPIDER_MIDDLEWARES = {
#    'jianshu_spider.middlewares.JianshuSpiderSpiderMiddleware': 543,
#}
 
#启用或禁用下载器中间件
DOWNLOADER_MIDDLEWARES = {
   # 'jianshu_spider.middlewares.JianshuSpiderDownloaderMiddleware': 543,
   'jianshu_spider.middlewares.SeleniumDownloadMiddlewares': 543,
}
 
#启用或禁用扩展程序
#EXTENSIONS = {
#    'scrapy.extensions.telnet.TelnetConsole': None,
#}
 
#配置项目管道文件
ITEM_PIPELINES = {
   # 'jianshu_spider.pipelines.JianshuSpiderPipeline': 300,
   'jianshu_spider.pipelines.JianshuTwistedPipeline': 300,
}
 
#启用和配置AutoThrottle扩展（默认情况下禁用）
#AUTOTHROTTLE_ENABLED = True
#初始下载延迟
#AUTOTHROTTLE_START_DELAY = 5
#在高延迟的情况下设置的最大下载延迟
#AUTOTHROTTLE_MAX_DELAY = 60
#Scrapy请求的平均数量应该并行发送每个远程服务器
#AUTOTHROTTLE_TARGET_CONCURRENCY = 1.0
#启用显示所收到的每个响应的调节统计信息：
#AUTOTHROTTLE_DEBUG = False
 
#启用和配置HTTP缓存（默认情况下禁用）
#HTTPCACHE_ENABLED = True
#HTTPCACHE_EXPIRATION_SECS = 0
#HTTPCACHE_DIR = 'httpcache'
#HTTPCACHE_IGNORE_HTTP_CODES = []
#HTTPCACHE_STORAGE = 'scrapy.extensions.httpcache.FilesystemCacheStorage'

可以添加的字段

#一下内容为默认setting.py文件没有的字段，但是可以自己添加

CONCURRENT_ITEMS
'''
默认: 100
Item Processor(即 Item Pipeline) 同时处理(每个response的)item的最大值。
'''

DEFAULT_ITEM_CLASS
'''默认: 'scrapy.item.Item'
the Scrapy shell 中实例化item使用的默认类'''


DEPTH_LIMIT
'''默认: 0
爬取网站最大允许的深度(depth)值。如果为0，则没有限制'''
DEPTH_PRIORITY
'''默认: 0
整数值。用于根据深度调整request优先级。
如果为0，则不根据深度进行优先级调整'''
DEPTH_STATS
'''
默认: True
是否收集最大深度数据。'''
DEPTH_STATS_VERBOSE
'''默认: False
是否收集详细的深度数据。如果启用，每个深度的请求数将会被收集在数据中。'''

DOWNLOAD_HANDLERS
'''
默认: {}
保存项目中启用的下载处理器(request downloader handler)的字典。 例子请查看 DOWNLOAD_HANDLERS_BASE 。
DOWNLOAD_HANDLERS_BASE
默认:
{
    'file': 'scrapy.core.downloader.handlers.file.FileDownloadHandler',
    'http': 'scrapy.core.downloader.handlers.http.HttpDownloadHandler',
    'https': 'scrapy.core.downloader.handlers.http.HttpDownloadHandler',
    's3': 'scrapy.core.downloader.handlers.s3.S3DownloadHandler',
}
保存项目中默认启用的下载处理器(request downloader handler)的字典。 永远不要在项目中修改该设定，而是修改 DOWNLOADER_HANDLERS 。
如果需要关闭上面的下载处理器，您必须在项目中的 DOWNLOAD_HANDLERS 设定中设置该处理器，并为其赋值为 None 。 例如，关闭文件下载处理器:
DOWNLOAD_HANDLERS = {
    'file': None,
}'''
DOWNLOAD_TIMEOUT
'''
默认: 180
下载器超时时间(单位: 秒)。'''

LOG
'''
LOG_ENABLED
默认: True
是否启用logging。
LOG_ENCODING
默认: 'utf-8'
logging使用的编码。
LOG_FILE
默认: None
logging输出的文件名。如果为None，则使用标准错误输出(standard error)。
LOG_LEVEL
默认: 'DEBUG'
log的最低级别。可选的级别有: CRITICAL、 ERROR、WARNING、INFO、DEBUG。更多内容请查看 Logging 。
LOG_STDOUT
默认: False
如果为 True ，进程所有的标准输出(及错误)将会被重定向到log中。例如， 执行 print 'hello' ，其将会在Scrapy log中显示。'''

RANDOMIZE_DOWNLOAD_DELAY
'''
默认: True
如果启用，当从相同的网站获取数据时，Scrapy将会等待一个随机的值 (0.5到1.5之间的一个随机值 * DOWNLOAD_DELAY)。
该随机值降低了crawler被检测到(接着被block)的机会。某些网站会分析请求， 查找请求之间时间的相似性。
随机的策略与 wget --random-wait 选项的策略相同。
若 DOWNLOAD_DELAY 为0(默认值)，该选项将不起作用
'''