可以在终端界面使用:
scrapy shell http://www.baidu.com
来实现交互性操作。(可以在未启动spider的情况下尝试及调试代码,也可以用来测试xpath表达式)
比如我们可以使用以下命令:
response.url : 当前响应的url地址
response.request.url : 当前响应对应的请求的url地址
response.headers : 响应头
response.body : 响应体,也就是html代码,默认为byte类型
response.requests.headers : 当前响应的请求头