Scrapy爬虫之热门网站数据爬取-----------第一关

第1关：猫眼电影排行TOP100信息爬取

任务描述
本关任务：爬取猫眼电影榜单TOP100榜 的100部电影信息保存到本地MySQL数据库。

settings.py
说到爬虫设置文件，就免不了要谈一谈Robots协议（也称为爬虫协议、机器人协议等），用来告知搜索引擎哪些页面能被抓取，哪些页面不能被抓取。这个协议没有法律效力，只是个别网站约定俗成的，就像游戏规则一样。
当我们所爬的网站不让爬的时候，你需要修改一下settings配置文件中的ROBOTSTXT_OBEY，把默认的True（遵守协议）改为False(不遵守协议)。

在爬虫爬取数据的时候，经常会遇到一些网站的反爬虫措施，一般就是针对于headers中的User-Agent，如果没有对headers进行设置，User-Agent会声明自己是python脚本，而如果网站有反爬虫的想法的话，必然会拒绝这样的连接。而修改DEFAULT_REQUEST_HEADERS可以将自己的爬虫脚本伪装成浏览器的正常访问，来避免这一问题。

DEFAULT_REQUEST_HEADERS = {
     'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',