Scrapy Shell命令行使用

Scrapy Shell命令行使用

scrapy shell是一个交互中断，可以在未启动的spider的情况下调试代码。其本意是用来测试提取代码，该中断用来测试XPath或者CSS表达式，测试是否正确抓取数据。
scrapy shell启动加上–nolog不打印日志

如：scrapy shell URL --nolog

scrapy shell使用scrapy downloader 根据url下载内容，下载页面后，可以对页面内容进行检查，操作。
如：获取页面标题

>>>response.xpath('//title/text()').extract_first()
重新下载页面
>>>fetch （URL）
修改请求参数，比如讲默认的GET方法改为POST方法,然后用fetch直接请求request
>>>requset = requset.replace(method='post')
>>>fetch(request)