scrapy 终端( scrapy shell)的运用
scrapy终端是一个交互终端,供您在未启动spider下调试代码,其本意是用来测试提取数据的代码
一旦熟悉了Scrapy终端后,您会发现其在开发和调试spider时发挥的巨大作用。
如果您安装了 IPython ,Scrapy终端将使用 IPython (替代标准Python终端)。 IPython 终端与其他相比更为强大,提供智能的自动补全,高亮输出,及其他特性。
我们强烈推荐您安装 IPython ,特别是如果您使用Unix系统(IPython 在Unix下工作的很好)。 详情请参考 IPython installation guide 。
启动终端
您可以使用 shell
来启动Scrapy终端:
scrapy shell <url>
<url>
是您要爬取的网页的地址。
例如:scrapy shell 'http://www.baidu.com'