Scrap Shell -笔记

我们想要在爬虫中使用 xpath、beautifulsoup、正则表达式、css选择器等来提取想要的数据。但是因为sapy是一个比较重的框架。每次运行起来都要等待一段时间。因此要去验证我们写的提取规则是否正确,是一个比较麻烦的事情。因此scrap提供了一个shell,用来方便的测试规则。当然也不仅仅局限于这一个功能。

打开 Scrap Shell
打开cmd终端,进入到 Scrap项目所在的目录,然后进入到scrap架所在的虚拟环境中,输入命令 scrap she11。就会进入到scrap的shell环境中。在这个环境中,你可以跟在爬虫的pare方法中一样使用了。

C:\Users\hynev>workon crawler-env (进入工作环境)

Scrap Shell:
1.可以方便我们做一些效据提取的测试代码
2.如果想要执行 scrap命令,那么毫无疑问,肯定是要先进入到 scrap所在的环境中
3.如果想要读取某个项目的配置信息,那么应该先进入到这个项目中。再执行 scrap she11命令