Zookeeper
三劫散仙
唯有学习,可以解忧
展开
-
分布式助手Zookeeper(一)
[b][color=olive][size=large]Zookeeper最早是Hadoop的一个子项目,主要为Hadoop生态系统中一些列组件提供统一的分布式协作服务,在2010年10月升级成Apache Software Foundation(ASF)顶级项目,它主要提供以下的四个功能: [table] |功能名| |组管理服务| |分布式配置服务| |分布式同步服务| |分布式...2013-12-04 14:22:29 · 132 阅读 · 0 评论 -
如何使用Curator操作zookeeper
Curator是Netflix开源的一套ZooKeeper客户端框架,用它来操作zookeeper更加简单方便,按Curator官方所比喻的,guava to JAVA, Curator to Zookeeper,Curator采用了fluent风格的代码,非常简洁。 有关curator的介绍:请参照官方文档:[url]http://curator.apache.org/index.html...2014-09-26 17:05:44 · 207 阅读 · 0 评论 -
hadoop2.2生态系统快速安装脚本
[b][color=green][size=large]对于使用hadoop进行开发的朋友们,可能要自己搭建一套hadoop的运行环境,如果不是经常变动的还好,如果,经常搭建而且还是多台机器,那么我们一个个的安装,就显得有点捉襟见肘了,这也是这个脚本诞生的目的,主要帮助我们在快速搭建hadoop集群,以及安装底层的配置依赖环境如JDK,Maven,Ant等,在安装hadoop前,还有一些关于lin...2014-09-23 15:08:55 · 125 阅读 · 0 评论 -
shell脚本一键安装zookeeper3.4.5
上篇shell脚本写了一键安装solr,本篇我们来看下如何一键安装zookeeper,散仙最近是最自动化安装脚本上迷了,咱们也不会复杂的,先从简单的开始联手,下面进入正题: 安装条件: 1,确保你的JAVA环境是OK的,JDK什么的 2,在root根目录下有一个zookeeper下好的压缩包 3,安装脚本默认放在root目录下 4,所有的安装目录,及压缩包命名,都在本脚本的前...2014-09-09 20:39:14 · 487 阅读 · 0 评论 -
分布式助手Zookeeper(八)
[b][color=olive][size=large]散仙,在前几篇关于zookeeper的文章中,介绍了基于zookeeper实现的分布式公平锁,以及非公平锁,那么本篇呢,散仙就来介绍下关于使用zookeeper如何模拟实现一个分布式队列。 那么为什么需要分布式队列呢?,我们都知道队列,在我们的编程开发中,是一种比不可少的数据结构,最典型莫过于,生产者与消费者的例子了,我们在程序过经常使...2014-03-13 22:23:03 · 158 阅读 · 0 评论 -
分布式助手Zookeeper(七)
[b][color=olive][size=large]上篇文章,散仙介绍了,分布式环境下,基于zookeeper实现的公平的锁,这篇,我们来看下,如何使用zookeeper来完成非公平锁的模拟,在这之前,我们先来,了解下公平锁和非公平锁的区别。 JAVA JDK提供了公平锁,与非公平锁,但这种实现是基于同一个JVM来说的, 如果同一台机器上,不同的JVM,则可以使用文件锁,来实现...2014-03-08 13:27:05 · 126 阅读 · 0 评论 -
分布式助手Zookeeper(六)
[b][color=green][size=large]散仙,在关于zookeeper的前几篇文章中,除了记录了zookeeper的一些基础知识,也介绍了怎么使用zookeeper来完成,配置文件同步,和主从自动切换的功能,那么,本篇散仙将会介绍下如何使用,zookeeper来完成分布式锁的功能,其实本质上是与主从切换的实现代码是非常类似的,但是功能上强调的重点不一样。 至于,为什么需要分布...2014-03-08 10:48:00 · 164 阅读 · 0 评论 -
分布式助手Zookeeper(五)
[b][color=olive][size=large]散仙在上篇文章分享了关于使用zookeeper来完成配置同步的功能,那么本篇,散仙依旧是模拟实现一个基于zookeeper怎么解决单点故障的案例。 单点故障问题,在分布式系统中是一个很有可能发生的场景,比如说在Hadoop2.x之前的HDFS的NameNode和MapReduce的JobTracker的单点故障,当然这个问题已经在Hadoo...2013-12-05 17:41:49 · 136 阅读 · 0 评论 -
分布式助手Zookeeper(四)
[b][color=olive][size=large]Zookeeper是分布式环境下一个重要的组件,因为它能在分布式环境下,给我带来很多便利,大大简化了分布式编程的复杂性,本篇散仙将给出一个模拟例子,来演示下如何使用Zookeeper的API编程,来完成分布式环境下配置的同步。大家都知道在一个中大型的规模的集群中,配置文件通常是必不可少的的东西,很多时候,我都需要将在Master上配置好的配置...2013-12-05 14:15:45 · 109 阅读 · 0 评论 -
分布式助手Zookeeper(三)
[b][color=olive][size=large]本篇,散仙要介绍一下基于zookeeper的一些API的编程。 在此之前,我们先来熟悉一下相关知识:[/size][/color][/b] [b][color=green][size=large] Zookeeper的Session: (1)客户端和server间采用长连接 (2)连接建立后,server产生session ID...2013-12-04 17:51:10 · 196 阅读 · 0 评论 -
分布式助手Zookeeper(二)
[b][color=olive][size=large]散仙在上篇文章介绍了,zookeeper的一系列基础知识,如果,你还不清楚zookeeper的基本架构,或者工作原理,那么,建议看一下散仙的上篇文章。本篇,散仙来介绍下怎么安装部署zookeeper,其实散仙在Hbase的安装部署里,已经介绍过独立的zookeeper的安装部署,本次除了zookeeper的集群安装外,还会额外介绍一下,怎么在...2013-12-04 15:46:07 · 91 阅读 · 0 评论 -
如何使用Curator监听zookeeper事件变化
掌握zookeeper事件监听机制,非常重要,可以说是跨入了进阶的门槛,只有掌握了如何监听某个节点或路径,我们才能在节点变化后,做一些我们想做的事,包括: 1,配置文件同步 2,主从切换 3,分布式队列 4,分布式锁 5,其他 散仙,在以前的文章里面有写过使用zookeeper原生的api,监听zk节点变化,那么本篇我们就来看下,如何使用curator来完成监听,代码如下: [c...2014-09-26 18:36:51 · 716 阅读 · 0 评论