- 博客(2)
- 资源 (1)
- 收藏
- 关注
原创 linux下测试python程序执行时间
1、借助于time模块def statistic_time(): pool = redis.ConnectionPool(host='123.56.184.53', port=6379, db=0) r = redis.Redis(connection_pool=pool) print "check time is beginning ..
2016-02-19 19:22:36 1778
原创 Scrapy通过redis实现分布式抓取
scrapy-redis所实现的两种分布式:爬虫分布式以及item处理分布式。分别是由模块scheduler和模块pipelines实现。一、Scrapy-redis各个组件介绍(I) connection.py负责根据setting中配置实例化redis连接。被dupefilter和scheduler调用,总之涉及到redis存取的都要使用到这个模块。(II) dupefil
2016-02-18 19:35:45 11597
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人