1.scrapy是一个交互终端,我们可以在没有启动spider的情况下尝试及调试代码,也可以用来测试xpath表达式。如果我们在使用scrapy爬虫的时候出现了某些问题或者是某些方法不会的时候,我们可以在这个交互式面板中进行调试。
2.安装ipython
1. List item
pip install ipython
**如果安装了ipython,Scrapy终端将使用Ipython(替代标准python终端),ipython终端与其他相比更为强大,提供智能的自动补全,高亮输出,及其他特性**
3.进入scrapy shell终端,如果已经安装ipython,可以看到一些高亮,自动补全等
scrapy shell 域名
**返回response对象,接着的操作和Scrapy一样**