Hash环
LightCloud使用一致性Hash算法(Consistent Hashing),好处就是当添加新节点的时候不用移动大量数据了。还不知道为什么?Consistent Hashing介绍。
一致性Hash算法也不算什么新鲜玩意儿了,凡是分布式系统都不免能见到它的身影,那LightCloud特别之处在哪里呢?好,我们广告之后告诉你……
(可恶的广告)
好,广告之后精彩继续
为了提高可用性,LightCloud使用了数据复制,在正角上场之前,先上一个暖场的,这个暖场的来头还挺大Amazon's Dynamo,先看大屏幕,
图上说了,Key A对应的值会复制三份,分布放在A,B,C节点上(原因不用说了吧),这样做的后果就是系统比较复杂,特别是加入新节点之后,由于Amazon's Dynamo系统本身就设计的比较复杂,这里就不细展开了,有兴趣的同学可以参考链接地址中的论文。
主角上场,主角本身设计的比较简单,还是先看大屏幕
怎么样,有没有看出什么道道来,节点本身复制了,这里是复制了两份,当然你也可以复制三份,第三份甚至可以放在另外的数据中心以提供更高的可靠性。LightCloud的复制用得是底层TokyoTyrant的复制功能,很环保。
解决了复制的问题,还有一个问题就是加入新节点是数据转移的问题,这张图困扰了我很久,大家先仔细品味一下
本来挺简单的一个环,现在变成了两个,上面那个环呢只保存地址,下面那个环才是保存了真正的数据,这样做有什么好处呢?文档也比较简略,没有说清楚,我和作者amix沟通之后,他答应在后续的文档中详细加以说明,留待以后再来分析吧。
和TokyoTyrant通讯
可以通过两种方式和TokyoTyrant通讯:
-
- 使用Tyrant的二进制协议
- 使用Memcached的协议
默认使用前者,因为是二进制的,而且支持调用Lua扩展,当然如果你愿意,也可以使用Memcached的协议。