Python
_从头再来_
不积跬步无以至千里
展开
-
python之celery使用详解一
前段时间需要使用rabbitmq做写缓存,一直使用pika+rabbitmq的组合,pika这个模块虽然可以很直观地操作rabbitmq,但是官方给的例子太简单,对其底层原理了解又不是很深,遇到很多坑,尤其是需要自己写连接池管理和channel池管理。虽然也有用过celery,一直也是celery+redis的组合,涉及很浅;目前打算深研一下celery+redis+rabbitmq的使用。c...转载 2019-02-15 23:04:30 · 1192 阅读 · 0 评论 -
python celery多worker、多队列、定时任务
多worker、多队列celery是一个分布式的任务调度模块,那么怎么实现它的分布式功能呢,celery可以支持多台不同的计算机执行不同的任务或者相同的任务。如果要说celery的分布式应用的话,就要提到celery的消息路由机制,提到AMQP协议。 简单理解:可以有多个"消息队列"(message Queue),不同的消息可以指定发送给不同的Message Queue,而...转载 2019-02-15 23:06:45 · 4211 阅读 · 0 评论 -
Python 并行分布式框架 Celery
Celery 官网:http://www.celeryproject.orgCelery 官方文档英文版:http://docs.celeryproject.org/en/latest/index.htmlCelery 官方文档中文版:http://docs.jinkan.org/docs/celerycelery配置:http://docs.jinkan.org/docs/celery/...转载 2019-01-30 21:58:25 · 244 阅读 · 0 评论 -
Apache Arrow:一个跨平台的内存数据交换格式
1、Apache Arrow:一个跨平台的内存数据交换格式Apache Arrow是Apache基金会下一个全新的开源项目,同时也是顶级项目。它的目的是作为一个跨平台的数据层来加快大数据分析项目的运行速度。用户在应用大数据分析时除了将Hadoop等大数据平台作为一个经济的存储和批处理平台之外也很看重分析系统的扩展性和性能。过去几年开源社区已经发布了很多工具来完善大数据分析的生态系统,这些工...转载 2019-01-30 22:06:23 · 679 阅读 · 0 评论