Twitter的服务器架构

三字要诀

Twitter的工程师把他们构建高效率,可伸缩的系统的经验总结为三字要诀:

partitioning(分片), indexing(索引), 和 replication(复制)。


分片(partitioning)技巧

Twitter上的tweet有两种主要的插叙模式:

by id和by author的。

单一地以id做key分片或以author做key分片都不好同时满足两种查询需求。

Twitter的工程师使用了这个方法,tweet的一个replicate按id分;另一个replicate按author分。如此有by id的查询走按id分片的replicate;有by author的查询走author分片的replicate,自然就快并且可以可能可以不用跨replicate。


2个replicate采用不同的分片计划适应2种不同的查询模式,这个idea挺不错的。


Twitter的服务器架构的简要示意图:

twitter的服务器架构

 

 

 

Unicorn: Ruby 的HTTP服务器。

Kestrel : Twitter用Scala写的message queue。

Flapp: Twitter做的图存储FlockDB。

Gizzard: Twitter用Scala写的一个通用Sharding框架。

Crane: 将数据从MySQL搬到HBase/HDFS.

Scribe:  在各个服务器上收集各种log并汇总。

 

 

internet上的参考资料:

 

 

 

 

 

 

  • 1
    点赞
  • 6
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值