zookeeper
liangzelei
这个作者很懒,什么都没留下…
展开
-
Zookeeper概述
概述Zookeeper是一个开源的分布式的,为分布式应用提供协调服务的Apache项目。Zookeeper从设计模式角度来理解:是一个基于观察者模式设计的分布式服务管理框架,它负责存储和管理大家都关心的数据,然后接受观察者的注册,一旦这些数据的状态发生变化,Zookeeper就将负责通知已经在Zookeeper上注册的那些观察者做出相应的反应,从而实现集群中类似Master/Slave管理模式。特...原创 2018-05-09 15:50:48 · 132 阅读 · 0 评论 -
Zookeeper安装
本地模式安装部署1)安装前准备:(1)安装jdk (本例使用jdk1.8)(2)下载zookeeper到linux(查找并下载zookeeper-3.4.10.tar.gz)(3)修改tar包权限(chmod u+x zookeeper-3.4.10.tar.gz)(4)解压到指定目录([lzl@hadoop1 software]$ tar -zxvf zookeeper-3.4.10.tar.g...原创 2018-05-09 16:15:43 · 149 阅读 · 0 评论 -
Kafka概述
Kafka是什么在流式计算中,Kafka一般用来缓存数据,Storm通过消费Kafka的数据进行计算。1)Apache Kafka是一个开源消息系统,由Scala写成。是由Apache软件基金会开发的一个开源消息系统项目。2)Kafka最初是由LinkedIn公司开发,并于 2011年初开源。2012年10月从Apache Incubator毕业。该项目的目标是为处理实时数据提供一个统一...原创 2018-05-17 08:49:48 · 201 阅读 · 0 评论 -
kafka集群部署
1)解压安装包[lzl@hadoop102 software]$ tar -zxvf kafka_2.11-0.11.0.0.tgz -C /opt/module/2)修改解压后的文件名称[lzl@hadoop102 module]$ mv kafka_2.11-0.11.0.0/ kafka3)在/opt/module/kafka目录下创建logs文件夹[lzl@hadoop102 kafka]...原创 2018-05-17 13:31:08 · 118 阅读 · 0 评论 -
Kafka命令行操作
1)查看当前服务器中的所有topic[lzl@hadoop102 kafka]$ bin/kafka-topics.sh--zookeeper hadoop102:2181 --list2)创建topic[lzl@hadoop102kafka]$ bin/kafka-topics.sh --zookeeper hadoop102:2181 --create--replication-factor ...原创 2018-05-17 13:35:50 · 598 阅读 · 0 评论 -
Spark的HA配置
Spark集群部署完了,但是有一个很大的问题,那就是 Master 节点存在单点故障,要解决此问题,就要借助 zookeeper,并且启动至少两个 Master 节点来实现高可靠,配置方式比较简单Spark 集群规划:master01,master02 是 Master;slave01,slave02,slave03是 Worker停止 spark 所有服务,修改配置文件 spark-env.sh...原创 2018-05-31 13:33:13 · 616 阅读 · 0 评论