scrapy shell的使用

scrapy深入之scrapy shell

介绍

scrapy是一个交互终端，我们可以在没有启动spider的情况下尝试及调试代码，也可以用来测试xpath表达式。
如果我们在使用scrapy爬虫的时候出现了某些问题或者是某些方法不会的时候，我们可以在这个交互式面板中进行调试。

使用方法

在终端中我们的项目路径下执行下面的代码

scrapy shell url
例如：
scrapy shell http://www.itcast.cn/channel/teacher.shtml

输入之后，我们就可以通过scrapy请求这个url地址，请求之后会进入一个交互式的终端，

• 安装了ipython：进入ipython
• 没有安装ipython：进入python的终端
  

2020-10-11 22:55:57 [asyncio] DEBUG: Using selector: SelectSelector
[s] Available Scrapy objects:
[s]   scrapy     scrapy module (contains scrapy.Request, scrapy.Selector, etc)
[s]   crawler    <scrapy.crawler.Crawler object