Python自动化（八）使用Scrapy shell提取网页信息

使用Scrapy shell提取网页信息

说明

本文假设您已经成功安装Scrapy。

使用scrapy shell获得网页内容

在终端中执行如下命令：
scrapy shell -s USER_AGENT="Mozilla/5.0" "https://www.qiushibaike.com"
如果顺利的话，将看到下图所示的界面：

关于request和response

request对象中存放的是向服务器发送的请求信息；
response对象中存放的是从服务器获得的所有响应信息。

关于response.body

response.body是从服务器获得的内容。

提取response.body中指定的数据

这里，我们以提取网页中的主题内容为例，首先我们找到内容对应的xpath路径，如下图：