scrapy-redis
耿子666
这个作者很懒,什么都没留下…
展开
-
scrapy-redis案例(一)爬取中国红娘相亲网站
前言:本案例将分为三篇。第一篇,使用scrapy框架来实现爬取中国红娘相亲网站。第二篇,使用scrapy-redis 简单的方式爬取中国红娘相亲网站。(使用redis存储数据,请求具有持续性,但不具备分布式)第三篇,使用scrapy-redis 分布式的方法爬取中国红娘相亲网站。(1)准备工作爬取网站地址:http://www.hongniang.com/index/search?sort=0&a...原创 2018-04-23 17:53:15 · 11934 阅读 · 1 评论 -
scrapy-redis案例(二)爬取中国红娘相亲网站
前言:本案例将分为三篇。第一篇,使用scrapy框架来实现爬取中国红娘相亲网站。第二篇,使用scrapy-redis 简单的方式爬取中国红娘相亲网站。(使用redis存储数据,请求具有持续性,但不具备分布式)第三篇,使用scrapy-redis 分布式的方法爬取中国红娘相亲网站。(1)祭出scrapy-redis 的框架图scrapy-redis 只是在scrapy 的基础上增加了reids 的扩...原创 2018-04-23 20:06:47 · 11997 阅读 · 0 评论 -
scrapy-redis案例(三)爬取中国红娘相亲网站
前言:本案例将分为三篇。第一篇,使用scrapy框架来实现爬取中国红娘相亲网站。第二篇,使用scrapy-redis 简单的方式爬取中国红娘相亲网站。(使用redis存储数据,请求具有持续性,但不具备分布式)第三篇,使用scrapy-redis 分布式的方法爬取中国红娘相亲网站,并使用mysql将数据持久化。(1)修改第二篇的代码为scrapy-redis 分布式的代码废话不多说,从setting...原创 2018-04-24 21:45:20 · 12722 阅读 · 0 评论