Scrapy Shell命令行使用
scrapy shell是一个交互中断,可以在未启动的spider的情况下调试代码。其本意是用来测试提取代码,该中断用来测试XPath或者CSS表达式,测试是否正确抓取数据。
scrapy shell启动加上–nolog不打印日志
如:scrapy shell URL --nolog
scrapy shell使用scrapy downloader 根据url下载内容,下载页面后,可以对页面内容进行检查,操作。
如:获取页面标题
>>>response.xpath('//title/text()').extract_first()
重新下载页面
>>>fetch (URL)
修改请求参数,比如讲默认的GET方法改为POST方法,然后用fetch直接请求request
>>>requset = requset.replace(method='post')
>>>fetch(request)