Scrapy Shell

我们想要在爬虫中使用 xpath、 beautifulsoup、正则表达式、css选择器等来提取想更的数据・但是因力scrapy是一个比较重的框架。每次运行起来都更等待一段时间。因此要去验证我们写的提取規则是否正确,是一个比较麻烦的事情。因此scrapy提供了一个shell,用来方便的测试规则。当然也不仅仅局限于这一个功能。
打开 Scrapy Shell
打开cmd终端,进入到 Scrapy项目所在的目,然后进入到 scrapy架所在的虚拟环境中,入命令 sracpy shell,会
进入到 scrapy的shell环境中・在这个环境中,你可以跟在配虫的parse万法中一样使用了・
\Users\hev>workon crawler-env
crawler-eny)C: \Users\hye.

 Scrapy Shell
1.可以方便我们做一些效据提取的测试代码。
2.如果想要执行 scrapy命令,那么毫无疑问,肯定是要先进入到 scrapy所在的环境中。
3.如果想要读取某个项目的配置信息,那么应该先进入到这个项目中。再执行 scrap
shell命令