关于Scrapy的那些事儿（四）Scrapy Shell

Scrapy Shell

launch Scrapy shell 使用如下命令：

scrapy shell <url>

当运行scrapy shell的时候，它为我们提供了一些功能函数：

• shelp() :打印可用对象和快捷命令的帮助列表
• fetch（request or url）：根据给清的请求request或URL获取一个新的Response对象，并更新原有的对象。
• views（response）：使用本机的浏览器查看response对象。

由于 Selector 主要是与 Scrapy 结合使用，如 Scrapy 的回调函数中的参数 response 直接调用xpath() 或者 css() 方法来提取数据。
我们就进入到 Scrapy shell 模式。这个过程其实是Scrapy 发起了一次请求，请求的 URL 就是刚才命令行下输入的 URL，然后把一些可操作的变量传递给我们，如 request、response 等
进入 Scrapy shell 之后，我们将主要操作 response 这个变量来进行解析。因为我们解析的是HTML 代码，Selector 将自动使用 HTML 语法来分析。
response 有一个属性 selector，我们调用 response.selector 返回的内容就相当于用 response的 text 构造了一个 Selector 对象。通过这个 Selector 对象我们可以调用解析方法如 xpath()、css()等，通过向方法传入 XPath 或 CSS 选择器参数就可以实现信息的提取。
结果的形式是 Selector 组成的列表，其实它是 SelectorList 类型，SelectorList 和 Selector 都可以继续调用 xpath() 和 css() 等方法来进一步提取数据。