学习笔记(08):21天通关Python（仅视频课）-使用shell调试

立即学习:https://edu.csdn.net/course/play/24797/282222?utm_source=blogtoedu

shell调试，从而可以进行交互式的调试。

1 启动shell调试爬取数据

首先 进入网页，打开源码，找到所要提取的数据

之后 使用“scrapy shell 目标网页”命令尝试爬取，若返回值为200，就表能能爬取到数据

 

2 浏览器伪装

scrapy shell -s USER_AGENT='Mozilla/5.0' https://www.zhipin.com/c101280100

 

3 使用xpath、css选择器提取数据

response.xpath('//div[@class="job-primary"]')

respose.css('div.job-primary>div.info-primary div.job-title').extract()