• 一淘搜索之网页抓取系统分析与实现（3）—scrapy+webkit & mysql+django

  结构图 scrapy+webkit： 如结构图③。 scrapy不能实现对javascript的处理，所以需要webkit解决这个问题。开源的解决方案可以选择scrapinghub的scrapyjs或...

  2014-07-28 11:42

  6968

• redis研究笔记

  一. redis Redis is an in-memory database that persists on disk. The data model is key-value, but ma...

  2014-07-24 08:07

  4346

• 升级scrapy-redis代码，使与更新版本scrapy兼容

  scrapy-redis的安装要求是scrapy版本高于0.14，是

  2014-07-24 16:59

  9144

• scrapy-redis实现爬虫分布式爬取分析与实现

  一 scrapy-redis实现分布式爬取分析 所谓的scrapy-redis实际上就是scrapy+redis其中对redis的操作采用redis-py客户端。这里的redis的作用以及在scrap...

  2014-07-24 20:21

  30103

• scrapy-redis源码分析

  原创文章，链接： (I) connection.py 负责根据setting中配置实例化redis连接。被dupefilter和scheduler调用，总之涉及到redis存取的都要使用到这个模块。...

  2014-07-28 11:02

  11152

• 一淘搜索之网页抓取系统分析与实现（4）- 实现&总结

  以一淘搜索的crawler为核心展开的分析到此基本结束了，除了django和mysql部分没有涉及，其它部分都进行了test，尤其是围绕crawler，所展开的分析和实现主要有： 1. 分布式c...

  2014-07-30 20:19

  4489

• 一淘搜索之网页抓取系统分析与实现（2）—redis + scrapy

  1.scrapy+redis使用 (1)应用 这里redis与scrapy一起,scrapy作为crawler，而redis作为scrapy的调度器。如架构图中的②所示。 图1 架构图 ...

  2014-07-28 11:36

  6362

• 一淘搜索之网页抓取系统分析与实现（1）—redis使用

  原创文章，链接： 1.redis使用 (1)应用 redis在抓取系统中主要承担两方面的责任，其一是作为链接存储数据库，其二是与ceawler一起并作为crawler的调度器。后者将在“scra...

  2014-07-28 11:31

  6104