关于Scrapy的那些事儿（三）Scrapy中setting.py的基本设置

基本设置

查看setting.py文件，详解各个参数

#创建工程的时候生成的名称
BOT_NAME = 'myscrapy'

# 客户端的USER_AGENT请求头，改成自己浏览器的USER_AGENT
USER_AGENT = 'firstDemo (+http://www.yourdomain.com)'

#是否遵循爬虫协议，一般不要遵循
ROBOTSTXT_OBEY=False

# 显示指定类型的日志信息
LOG_LEVEL = 'ERROR'

# 是否支持cookie，默认是开启的
COOKIES_ENABLED
#Scrapy发送请求的时候默认的请求头
DEFAULT_REQUEST_HEADERS

####################
##并发与延迟
#下载器总共最大出力的并发请求数，默认为16
#CONCURRENT_REQUESTS = 32

#对同一网址延迟请求的秒数，想想为什么要延迟
#DOWNLOAD_DELAY = 3

# The download delay setting will honor only one of:
#每个域名能够被执行的最大并发请求数目，默认值为8
#CONCURRENT_REQUESTS_PER_DOMAIN = 16
# 能够被单个IP处理的并发请求书，默认值为0，代表无限制，需要注意两点，如果不为0那么CONCURRENT_REQUESTS_PER_DOMAIN被忽略，即并发数的限制是按照IP来计算，而不是域名。同样影响DOWNLOAD_DELAY，下载延迟限制的是每个IP而不是域名。
#CONCURRENT_REQUESTS_PER_IP = 16

# 配置项管道
ITEM_PIPELINES = {
   'firstDemo.pipelines.FirstdemoPipeline': 300,
'firstDemo.pipelines.mysqlPileLine': 301,
    # 300表示的是优先级，数值越小优先级越高
}