![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
爬虫
非空盒子
这个作者很懒,什么都没留下…
展开
-
初步实现爬虫框架
1.爬虫的流程(掌握) 爬虫框架解决的问题是爬虫问题,先来看看爬虫的基本流程: 构建请求信息(url、method、headers、params、data) 发起HTTP/HTTPS请求,获取HTTP/HTTPS响应 解析响应,分析响应数据的数据结构或者页面结构 提取数据 提取请求的地址 对数据进行存储/对新的请求地址重复前面的步骤 流程图: 2.分析scrapy爬虫流程(掌握) 精准...原创 2019-01-27 15:48:12 · 191 阅读 · 0 评论 -
scrapy-redis crontab
1. 爬虫常用redis中的命令 /etc/init.d/redis-server start 启动服务端 redis-server redis-cli -h <hostname> -p <端口号> 客户端启动 redis-cli select 1 切换db keys * 查看所有的键 tyep 键 查看键的类型,再决定给其何种方式操作 flush原创 2019-01-26 14:26:42 · 328 阅读 · 0 评论