分布式
文章平均质量分 55
Bruceleexiaokan
这个作者很懒,什么都没留下…
展开
-
Zookeeper之Zab协议介绍(二)
系统模型 一个Zab系统由一组进程组成II = {p1, p2, ..., pn},每个进程都配有一个稳定的存储设备。进程以一个不停的循环方式进行处理,并通过交换消息方式进行相互通信。分布式情况下,进程可能不断地崩溃,恢复。只要不崩溃,我们认为进程处于up状态,否则就处于down状态。我们假定,最终会有足够多的进程处于up状态,并持续足够长的时间。事实上,只要超过多数的进程处于up状态足够长时间翻译 2012-08-11 08:54:12 · 3212 阅读 · 0 评论 -
Zookeeper之Zab协议介绍(三)
问题描述 ZooKeeper采用主备(primary-backup)方案来进行请求,并以主进程次序原子广播(primary order)将状态变化传播到备用进程。因此只有主进程才要广播。如果主进程崩溃,我们认为存在一个外部机制来选择新的主进程。然而,要保证任何时候只存在最多一个主进程并只允许该主进程进行广播是非常重要的。在我们的实现中,主进程选举机制同我们用以消息广播机制是紧密耦合的。假定翻译 2012-08-12 23:03:06 · 2947 阅读 · 0 评论 -
Zookeeper之Zab协议介绍(一)
1. Zab介绍 ZooKeeper服务的内部通信,是基于Zab协议,即ZooKeeper Atomic Broadcast协议。原子广播(AB)是分布式计算普遍使用的原语。本质上说,ZooKeeper服务是基于复制分发的。它需要半数以上的服务器能正常工作。崩溃的服务器能恢复并且重新加入集群。ZooKeeper采用主备方式来维护被复制状态的一致性。在ZooKeeper中,leader接受翻译 2012-08-09 23:36:58 · 12229 阅读 · 0 评论 -
Zookeeper之Zab协议介绍(四)
A. 核心特性 ZooKeeper要求以下特性来维护所有进程的一致性: 完整性:如果某进程采用了的状态变化,那么一定存在一个进程Pi∈П,Pi已经广播过了的状态变化 全序性(totalorder):如果某进程在采用之前先采用了,那么任何其他进程在采用时,必须已被采用 这两个特性保证了任何事物不会被自发创建(created spontaneously)或被破坏,并且进程在处理事翻译 2012-08-15 10:27:46 · 2000 阅读 · 0 评论 -
Zookeeper之Zab协议介绍(五)
B.同因果原子广播的比较 主次序原子广播设计成保持了因果次序特性,并瘾式地在增量状态更新创建时产生。在这一章节,我们将比较因果原子广播和主次序原子广播,并将论证,这两者是无法比较的。 因果次序的定义,是基于事件的前序(precedence, or happens before)关系。对于广播协议,事件分两种,要么是广播事件,要么是采用事件。我们采用 c ,来表示abcast()翻译 2012-08-21 22:59:24 · 3012 阅读 · 0 评论 -
mac os上配置CDH4.1.1版hbase并启用snappy
这两天乘周末时间在我的mac机器上配置了CDH4.1.1版的hadoop和hbase。hbase配置在伪分布式的hdfs上。整个配置倒也非常简单。使用CDH版hadoop和hbase比用社区版要简单太多了,需要特别配置的东西也少很多。很快我的hdfs和hbase服务都起来了。但当我要创建一个带snappy压缩的opentsdb表时,却发生了错误。regionserver的日志报告,载入native原创 2012-11-04 15:40:24 · 2510 阅读 · 2 评论