Scrapy Shell

为什么要使用 scrapy shell？

Scrapy终端是一个交互终端，我们可以在未启动spider的情况下尝试及调试代码，也可以用来测试XPath或CSS表达式，查看他们的工作方式，方便我们爬取的网页中提取的数据。

但是对于一个较大的 Scrapy 项目去测试正则的结果是否正确，就过于麻烦了，这时候，我们要使用 scrapy shell 去调试，测试成功后，在拷贝到我们的项目中就可以了。

启动Scrapy Shell

在pycharm中打开项目，然后打开终端Terminal，输入

scrapy shell www.baidu.com

回车，出现以图所示内容

这个过程其实是，scrapy发起了一次请求，请求的url就是输入的百度网址，然后把一些可操作性的变量传递给我们，如request、response等
我们可以在命令行通过输入一些命令来调用对象的一些操作方