- 博客(3)
- 收藏
- 关注
原创 Twitter Heron:大规模流处理系统
Twitter已经用Heron完全替换了Storm。前者现在每天处理“数10TB的数据,生成数10亿输出元组”,在一个标准的单词计数测试中,“吞吐量提升了6到14倍,元组延迟降低到了原来的五到十分之一”,硬件减少了2/3。本文对Heron的介绍摘要如下:Storm worker架构的限制:Worker的设计比较复杂. 大量的instances都在一个worker进程里面.
2016-07-15 10:28:29 1355
翻译 大规模集群管理系统Google Borg
Borg是Google的集群管理系统,管理着多个由成千上万台机器组成集群,上面运行着10万+的任务和上千种不同类型的应用。它组合了诸如提交控制,高效的任务包装,过量提交,进程级性能隔离的机器共享等这些方法来获取高性能。
2016-07-01 15:12:02 4428
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人