爬虫笔记

1、scrapy框架中ROBOTSTXT_OBEY = True的解释
默认为True，就是要遵守robots.txt 的规则。
robots.txt 是遵循Robot协议 的一个文件，它保存在网站的服务器中，它的作用是，告诉搜索引擎爬虫，本网站哪些目录下的网页 不希望 你进行爬取收录。在Scrapy启动后会在第一时间访问网站的 robots.txt 文件，然后决定该网站的爬取范围。
当我们将此配置项设置为False时，拒绝遵守 robot协议 ，就可以爬取robots.txt 所禁止访问的内容。
robot协议属于道德规范，不属于法律，但是为了维护他人隐私等权益仍需遵守。

2、爬取网页弹出验证，在scrapy框架setting中末尾加上以下内容
REDIRECT_ENABLED=False# 关掉重定向, 不会重定向到新的地址
HTTPERROR_ALLOWED_CODES=[301,302]# 返回301, 302时, 按正常返回对待, 可以正常写入cookie
MEDIA_ALLOW_REDIRECTS =True

3、管道优先级
分配给每个类的整型值，确定了他们运行的顺序，item按数字从低到高的顺序，通过pipeline，通常将这些数字定义在0-1000范围内（0-1000随意设置，数值越低，组件的优先级越高）