- 博客(2)
- 收藏
- 关注
RSS订阅原创 爬虫基础总结
爬虫流程？ 准备url列表 发起请求、获得响应 提取数据，提取url放入url列表 保存数据 聚焦爬虫的流程 注意：提取的数据以url对应的响应为准，浏览器element只能作为参考 requests的使用 pip install requests 2.1 基本使用 resp = request.get(url,headers,params) resp = reques...
2018-12-14 14:31:27
105
原创 爬虫scrapy框架的基本使用
scrapy 的数据传递的流程 调度器 request对象—》引擎—》下载器中间件—》下载器 下载器发送请求，获取response—》下载器中间件–》引擎—》爬虫中间件—》爬虫 怕从–》提取url，组成一个request对象—》爬虫中间件—》引擎—》调取器 爬虫—》提取数据—》引擎–》管道 管道实现数据的处理和保存 scrapy的项目流程 创建项目 ：scrapy startproject ...
2018-12-09 21:49:49
158
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人