zookeeper
文章平均质量分 76
iteye_8075
这个作者很懒,什么都没留下…
展开
-
初识ZOOKEEPER
Hadoop下面的子项目ZooKeeper是一个用于协调分布式程序的服务。我们可以利用它来保证各个机器之间的数据同步。 单机环境运行ZOOKEEPER 1 下载ZooKeeper:http://labs.xiaonei.com/apache-mirror/hadoop/zookeeper/zookeeper-3.2.2/zookeeper-3.2.2.tar.gz 2 解压。 3 在...原创 2011-12-15 20:47:09 · 62 阅读 · 0 评论 -
拜占庭将军问题
拜占庭将军问题 (Byzantine Generals Problem),是由莱斯利兰伯特提出的点对点通信中的基本问题。 在分布式计算上,不同的计算机透过讯息交换,尝试达成共识;但有时候,系统上协调计算机 (Coordinator / Commander) 或成员计算机 (Member / Lieutanent) 可能因系统错误并交换错的讯息,导致影响最终的系统一致性。拜占庭将军问题就根据错误...原创 2011-12-16 09:43:44 · 631 阅读 · 0 评论 -
Paxos算法
Paxos算法是莱斯利·兰伯特(Leslie Lamport,就是 LaTeX 中的"La",此人现在在微软研究院)于1990年提出的一种基于消息传递的一致性算法。[1] 这个算法被认为是类似算法中最有效的。 [编辑] 问题和假设 Paxos 算法解决的问题是一个分布式系统如何就某个值(决议)达成一致。一个典型的场景是,在一个分布式数据库系统中,如果各节点的初始状态一致,每个节点都执行...原创 2011-12-16 10:05:58 · 84 阅读 · 0 评论 -
Zookeeper工作原理
zooKeeper是一个分布式的,开放源码的分布式应用程序协调服务,它包含一个简单的原语集,分布式应用程序可以基于它实现同步服务,配置维护和命名服务等。Zookeeper是hadoop的一个子项目,其发展历程无需赘述。在分布式应用中,由于工程师不能很好地使用锁机制,以及基于消息的协调机制不适合在某些应用中使用,因此需要有一种可靠的、可扩展的、分布式的、可配置的协调机制来统一系统的状态。Zookee...原创 2011-12-16 10:14:35 · 83 阅读 · 0 评论 -
MapReduce 动态设置 namenode HDFS 的URI
开发MapReduce程序 一直都是在namenode 那台pc上用eclipse 直接运行,没有任何问题 今天在一台namenode上用eclipse 编译一M/R小程序,结果死活 都是 Exception in thread "main" org.apache.hadoop.ipc.RemoteException: java.io.IOException: Unknow...原创 2011-12-28 16:25:49 · 264 阅读 · 0 评论