Python爬虫---scrapy shell 调试

Scrapy shell是Scrapy提供的一个交互式shell工具，它可以帮助我们进行爬虫的开发和调试。可以使用它来测试xpath或css表达式，查看它们是如何工作的，以及它们从你试图抓取的网页中提取的数据。它允许你在编写spider时交互地测试表达式，而无需运行spider来测试每个更改。

使用前提：已安装 ipython  安装: pip install ipython

使用步骤：

1. win+r 打开终端

2. 直接输入scrapy shell 域名  （注意：不能先进入ipython或python）

URL的基本组成部分：协议、域名、端口、路径 

3. 使用：

 xpath语法：

bs4语法（不建议）：