爬虫
努力的程序猿@
这个作者很懒,什么都没留下…
展开
-
scrapy
1、scrapy的工作流程 其流程可以描述如下: 调度器把requests-->引擎-->下载中间件--->下载器 下载器发送请求,获取响应---->下载中间件---->引擎--->爬虫中间件--->爬虫 爬虫提取url地址,组装成request对象---->爬虫中间件--->引擎--->调度器 爬虫提取数据--->引...原创 2019-05-24 14:56:12 · 1228 阅读 · 0 评论 -
scrapy调试
1、scrapy shell是scrapy提供的一个终端工具,能够通过它查看scrapy中对象的属性和方法,以及测试xpath 使用方法: scrapy shell http://www.itcast.cn/channel/teacher.shtml 在终端输入上述命令后,能够进入python的交互式终端,此时可以使用: response.xpath():直接测试xpath规则是否正确...原创 2019-05-25 09:27:30 · 997 阅读 · 0 评论