【爬虫作业】使用scrapy爬取游戏发售表，存入mongo数据库

需求分析

昨天，我发布了爬取游戏发售表的文章，有一个小伙伴看完了以后，非常的困扰，他问我说，“仙草哥哥，你这个爬虫程序虽然很好，基本的功能也实现了，但是我觉得它太简单了，总共才几十行，不像一个真正的程序。如果我拿去给朋友展示的话，这样的程序感觉都很没有面子，这可如何是好呢？”

我说，“程序最重要的是功能，你不要老是在意代码的行数，我们用几十行就完成了爬虫任务，这不好吗？”

他说，“可是，这样的代码还是太简单了，你能不能教教我，怎么才能把爬虫代码写的多一点，像一个真正的程序一样呢？比如说，如果期末我要交一份爬虫课的作业，应该怎样才能得到比较高的评价呢？”

好吧，其实这也没什么困难的，只要能够保留原本的功能，再加上额外的数据保存，就能解决问题了。比如说，将之前的程序升级一下，采用scrapy框架爬取数据，并将结果保存到mongo数据库中，这样就能比之前的requests程序更加丰富了

实现分析

settings.py

需要修改几个重要的配置信息，主要包括爬虫协议的遵守，user-agent的定义

# 修改默认的user-agent
USER_AGENT = "Mozilla/5.0"

# 不遵守爬虫协议
ROBOTSTXT