wang_zhenwei的博客

Zookeeper 分布式服务框架是 Apache Hadoop 的一个子项目，它主要是用来解决分布式应用中经常遇到的一些数据管理问题，如：统一命名服务、状态同步服务、集群管理、分布式应用配置项的管理等。本文将从使用者角度详细介绍 Zookeeper 的安装和配置文件中各个配置项的意义，以及分析 Zookeeper 的典型的应用场景（配置文件的管理、集群管理、同步锁、Leader 选举、队列管

前面提到过bin/zkServer.sh: line 109: ./zookeeper.out: Permission denied STARTED错误的解决方法，但是，今天再次启动Zookeeper后，同样的错误再次出现，再查找其他解决方法无效后，准备重装Zookeeper。具体过程如下：在Slave1上：[hadoop@Slave1 ~]$ suPassword: [root@

启动Zookeeper过程中，一台虚拟机上出现如下的错误：[hadoop@Slave2 zookeeper]$ bin/zkServer.sh startJMX enabled by defaultUsing config: /usr/local/zookeeper/bin/../conf/zoo.cfgStarting zookeeper ... bin/zkServer.sh: li

consumer的负载均衡，每一个partition只会同时被consumer group里面的一台机器消费，称为owner，owner分配的逻辑，1. For each topic T that Ci subscribes to 2.   let PT be all partitions producing topic T3.   let CG be all consumers in

使用ll命令和chown命令对zookeeper文件的拥有者进行修改后，在普通用户hadoop下启动zookeeper，但是报一下错误：[hadoop@Slave1 zookeeper]$ bin/zkServer.sh startJMX enabled by defaultUsing config: /usr/local/zookeeper/bin/../conf/zoo.cfgSta

Zookeeper节点的增加及故障演练环境介绍OS: Ubuntu 10.10 Server 64-bitServers:hadoop-master:10.6.1.150- namenode,jobtracker;hbase-master,hbase-thrift;- secondarynamenode;- hive-master,hive-metast

基本概念一个Server如何知道其他Server？在 zookeeper 中，一个 zookeeper 集群有多少个 Server 是固定，每个 Server 用于选举的 IP和 PORT 都在配置文件中；除IP和Port能标识一个Server之外，还有没有别的方法？每一个 Server 都有一个数字编号，而且是唯一的，我们根据配置文件中的配置来对每一个Server 进

前两篇Paxos算法的讨论，让我们对paxos算法的理论形成过程有了大概的了解，但距离其成为一个可执行的算法程序还有很长的路要走，原因是很多的细节和错误未被考虑。Google Chubby的作者说，paxos算法实现起来远没有看起来简单，原因是paxos的容错仅限于server crash这一种情况，但在实际工程实现时要考虑磁盘损坏、文件损坏、Leader身份丢失等诸多的错误。 1

请先参考前文：Paxos算法1 1.编号处理根据P2c ，proposer在提案前会先咨询acceptor查看其批准的最大的编号和value，再决定提交哪个value。之前我们一直强调更高编号的proposal，而没有说明低编号的proposal该怎么处理。|--------低编号(LN)--------|P2c 的正确性是由当前编号N而产生了一些更高编号H

Paxos算法的难理解与算法的知名度一样令人敬仰，从我个人的经历而言，难理解的原因并不是该算法高深到大家智商不够，而在于Lamport在表达该算法时过于晦涩且缺乏一个完整的应用场景。如果大师能换种思路表达该算法，大家可能会更容易接受：首先提出算法适用的场景，给出一个多数读者能理解的案例其次描述Paxos算法如何解决这个问题再次给出算法的起源（就是那些希腊城邦的比喻和算法过程）Lam

背景在计算机通信理论中，有一个著名的两军问题(two-army problem)，讲述通信的双方通过ACK来达成共识，永远会有一个在途的ACK需要进行确认，因此无法达成共识。两军问题和Basic Paxos非常相似1） 通信的各方需要达成共识；2） 通信的各方仅需要达成一个共识；3） 假设的前提是信道不稳定，有丢包、延迟或者重放，但消息不会被篡改。Basic Paxos最早

因为实验需要，重启zookeeper，此时我只将虚拟机Slave1打开，进行启动，发现出现：zookeeper Error contacting service. It is probably not running错误。[root@Slave1 bin]# sh zkServer.sh statusJMX enabled by defaultUsing config: /usr/

转载来源一：   公司要用zookeeper,所以昨天在本机装了一个伪集群,安装步骤就不在这说了,很简单,网上也有很多的图文教程.但是启动完了之后执行  zkServer.sh status 的时候 报了Error contacting service. It is probably not running错误,在网上找了集中解决办法: 1,打开zkServer.sh 找到status

背景  前段时间学习了zookeeper后，在新的项目中刚好派上了用场，我在项目中主要负责分布式任务调度模块的开发，对我自己来说是个不小的挑战。  分布式的任务调度，技术上我们选择了zookeeper，具体的整个分布式任务调度的架构选择会另起一篇文章进行介绍。   本文主要是介绍自己在项目中zookeeper的一些扩展使用，希望可以对大家有所帮助。  项