Python3 大型网络爬虫实战 — 给 scrapy 爬虫项目设置为防反爬

原博文链接：http://www.aobosir.com/blog/2016/12/06/python3-large-web-crawler-scrapy-project-Anti-reptile-settings/

---

开发环境

• Python第三方库：lxml、Twisted、pywin32、scrapy
• Python 版本：python-3.5.0-amd64
• PyCharm软件版本：pycharm-professional-2016.1.4
• 电脑系统：Windows 10 64位

如果你还没有搭建好开发环境，请到这篇博客。

---

所有的设置都是在scrapy爬虫项目中的settings.py 文件中进行设置。

Step 1 . 设置爬虫不遵循 robots.txt协议

# Obey robots.txt rules
ROBOTSTXT_OBEY = False