网络爬虫Scrapy shell 的使用和介绍

Scrapy shell 是一个交互式终端，可以在不启动爬虫的情况下尝试及调试爬取部分的代码， 也可以测试XPath路径表达式或CSS表达式是否正确。它可以避免每次修改表达式后运行爬 虫的麻烦，在开发和调试爬虫的阶段发挥着很大的作用。

编程梦想家（大学生版）-CSDN博客(❤ ω ❤)(❤ ω ❤)(❤ ω ❤)

Scrapy shell 一般使用标准 Python 终端。但如果计算机中已经安装 IPython 终端，那么 Scrapy shell 将优先使用IPython 终端。这是因为IPython终端具有比标准Python终端更强大的 功能，提供了代码自动补全、高亮输出等功能。下面分别对启用Scrapy shell和使用Scrapy shell 进行介绍。

1．启用Scrapy shell O(∩_∩)O

启用Scrapy shell 的命令如下。

scrapy shell <URL> 

在上述命令格式中，是待抓取的URL地址。

例如在Windows操作系统的命令提示符窗口中输入“scrapy shell www.baidu.com”命令即 可启用Scrapy shell 访问百度首页。而且终端会输出大量提示信息，具体内容如下。  

C:\Users\admin>