1.setting 文件
–修改ROBOT协定 True – False
ROBOTSTXT_OBEY = True
#打开请求DEFAULT_REQUEST_HEADERS
#打开ITEM_PIPELINESE
#打开DOWNLOAD_DELAY
#设置设置DOWNLOADER_MIDDLEWARES & 请求头设置
UserAgentMiddleware与middlewares.py文件中添加的内容保持一致
middlewares.py文件添加
#辅助设置middlewares文件