Scrapy 终端是一个交互终端,我们可以在未启动spider的情况下尝试及调试代码,也可以用来测试XPath或CSS表达式,查看他们的工作方式,方便我们爬取的网页中提取的数据。
1 Scrapy Shell
==Scrapy Shell可以模拟Scrapy发送请求。==既在代码中发送的请求是什么样子的,通过Scrapy Shell发送的请求就是什么样子的。
代码:scrapy shell “url”
1.当shell载入后,将得到一个包含response数据的本地response边浪,输入response.body将输出response的包体,输出response.headers可以看到response的包头。
2.输入response.selector时,将获取到一个response初始化的类Selector的对象,此时可以通过使用response.selector.xpath()或response.selector.css()来对response进行查询。
3.scrapy提供了一些快捷方式,例如response.xpath()或response.css()同样可以生效。
2 Selectors选择器
Scrapy Selector内置XPath和CSS Selector表达机制
Selector有四个基本方法,最常用的还是XPath:
(1)xpath(): 传入xpath表达式,返回该表达式所对应的所有节点的selector list列表
(2)extract(): 序列化该节点为unicode字符串并返回list
(3)css(): 传入CSS表达式,返回该表达时所对应的所有节点的selector list列表,语法同Beautiful Soup4
(4)re(): 根据传入的正则表达式对数据进行提取,返回unicode字符串list列表。
selector中xpath()和css()方法,都需要使用extract()方法进行转换。