伪分布式系列 - 第七篇 - zookeeper-环境搭建

最新推荐文章于 2023-04-08 19:33:32 发布
最新推荐文章于 2023-04-08 19:33:32 发布
阅读量6.1k 收藏
点赞数 1
分类专栏： zookeeper 大数据生态搭建系列 文章标签： zookeeper
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u010670689/article/details/98397999
版权

目录

zookeeper架构

  • zk分布式情况是master-slave架构,leader和follower,单节点的情况就是只有leader节点
    在这里插入图片描述

环境准备

zookeeper下载

jvm安装

  • 参考前文hadoop安装

zookeeper配置

目录

[root@ecs-6531-0002 default]# cd conf
[root@ecs-6531-0002 conf]# ll
总用量 12
-rw-r--r-- 1 2002 2002  535 2月  15 20:55 configuration.xsl
-rw-r--r-- 1 2002 2002 2712 4月   2 21:05 log4j.properties
-rw-r--r-- 1 2002 2002  922 2月  15 20:55 zoo_sample.cfg

配置

  • cp zoo_sample.cfg zoo.cfg
  • 创建zk存储目录
mkdir -p /data/zookeeper/data
  • vim zoo.cfg
# The number of milliseconds of each tick
tickTime=2000
# The number of ticks that the initial 
# synchronization phase can take
initLimit=10
# The number of ticks that can pass between 
# sending a request and getting an acknowledgement
syncLimit=5
# the directory where the snapshot is stored.
# do not use /tmp for storage, /tmp here is just 
# example sakes.
dataDir=/data/zookeeper/data
# the port at which the clients will connect
# 端口号
clientPort=2181
# the maximum number of client connections.
# increase this if you need to handle more clients
#maxClientCnxns=60
#
# Be sure to read the maintenance section of the 
# administrator guide before turning on autopurge.
#
# http://zookeeper.apache.org/doc/current/zookeeperAdmin.html#sc_maintenance
#
# The number of snapshots to retain in dataDir
#autopurge.snapRetainCount=3
# Purge task interval in hours
# Set to "0" to disable auto purge feature
#autopurge.purgeInterval=1

#1 表示当前服务的id
# 2888端口号是zookeeper服务之间通信的端口。
# 3888端口是zookeeper与其他应用程序通信的端口。
server.1=localhost:2888:3888

zk启动测试

  • 启动zk服务进程 sh bin/zkServer.sh start
[root@ecs-6531-0002 default]# sh bin/zkServer.sh start
ZooKeeper JMX enabled by default
Using config: /opt/bigdata/zookeeper/default/bin/../conf/zoo.cfg
Starting zookeeper ... STARTED

[root@ecs-6531-0002 default]# jps
15728 SecondaryNameNode
12212 ResourceManager
12325 NodeManager
12710 JobHistoryServer
26858 QuorumPeerMain -- zk进程
5198 RunJar
26927 Jps

[root@ecs-6531-0002 default]# ./bin/zkServer.sh status
ZooKeeper JMX enabled by default
Using config: /opt/bigdata/zookeeper/default/bin/../conf/zoo.cfg
Client port found: 2181. Client address: localhost.
Mode: standalone
  • 测试 启动zk客户端 sh bin/zkCli.sh
[root@ecs-6531-0002 default]# sh bin/zkCli.sh 
Connecting to localhost:2181
2019-08-04 19:05:45,189 [myid:] - INFO  [main:Environment@109] - Client environment:zookeeper.version=3.5.5-390fe37ea45dee01bf87dc1c042b5e3dcce88653, built on 05/03/2019 12:07 GMT
2019-08-04 19:05:45,193 [myid:] - INFO  [main:Environment@109] - Client environment:host.name=ecs-6531-0002.novalocal
2019-08-04 19:05:45,193 [myid:] - INFO  [main:Environment@109] - Client environment:java.version=1.8.0_121
2019-08-04 19:05:45,196 [myid:] - INFO  [main:Environment@109] - Client environment:java.vendor=Oracle Corporation
2019-08-04 19:05:45,196 [myid:] - INFO  [main:Environment@109] - Client environment:java.home=/usr/local/java_1.8.0_121/jre
2019-08-04 19:05:45,196 [myid:] - INFO  [main:Environment@109] - Client environment:java.class.path=/opt/bigdata/zookeeper/default/bin/../zookeeper-server/target/classes:/opt/bigdata/zookeeper/default/bin/../build/classes:/opt/bigdata/zookeeper/default/bin/../zookeeper-server/target/lib/*.jar:/opt/bigdata/zookeeper/default/bin/../build/lib/*.jar:/opt/bigdata/zookeeper/default/bin/../lib/zookeeper-jute-3.5.5.jar:/opt/bigdata/zookeeper/default/bin/../lib/zookeeper-3.5.5.jar:/opt/bigdata/zookeeper/default/bin/../lib/slf4j-log4j12-1.7.25.jar:/opt/bigdata/zookeeper/default/bin/../lib/slf4j-api-1.7.25.jar:/opt/bigdata/zookeeper/default/bin/../lib/netty-all-4.1.29.Final.jar:/opt/bigdata/zookeeper/default/bin/../lib/log4j-1.2.17.jar:/opt/bigdata/zookeeper/default/bin/../lib/json-simple-1.1.1.jar:/opt/bigdata/zookeeper/default/bin/../lib/jline-2.11.jar:/opt/bigdata/zookeeper/default/bin/../lib/jetty-util-9.4.17.v20190418.jar:/opt/bigdata/zookeeper/default/bin/../lib/jetty-servlet-9.4.17.v20190418.jar:/opt/bigdata/zookeeper/default/bin/../lib/jetty-server-9.4.17.v20190418.jar:/opt/bigdata/zookeeper/default/bin/../lib/jetty-security-9.4.17.v20190418.jar:/opt/bigdata/zookeeper/default/bin/../lib/jetty-io-9.4.17.v20190418.jar:/opt/bigdata/zookeeper/default/bin/../lib/jetty-http-9.4.17.v20190418.jar:/opt/bigdata/zookeeper/default/bin/../lib/javax.servlet-api-3.1.0.jar:/opt/bigdata/zookeeper/default/bin/../lib/jackson-databind-2.9.8.jar:/opt/bigdata/zookeeper/default/bin/../lib/jackson-core-2.9.8.jar:/opt/bigdata/zookeeper/default/bin/../lib/jackson-annotations-2.9.0.jar:/opt/bigdata/zookeeper/default/bin/../lib/commons-cli-1.2.jar:/opt/bigdata/zookeeper/default/bin/../lib/audience-annotations-0.5.0.jar:/opt/bigdata/zookeeper/default/bin/../zookeeper-*.jar:/opt/bigdata/zookeeper/default/bin/../zookeeper-server/src/main/resources/lib/*.jar:/opt/bigdata/zookeeper/default/bin/../conf:.:/usr/local/java_1.8.0_121/lib/tools.jar:/usr/local/java_1.8.0_121/lib/dt.jar:.:/opt/bigdata/hive/default/lib
2019-08-04 19:05:45,196 [myid:] - INFO  [main:Environment@109] - Client environment:java.library.path=/opt/bigdata/hadoop/default/lib/native:/usr/java/packages/lib/amd64:/usr/lib64:/lib64:/lib:/usr/lib
2019-08-04 19:05:45,196 [myid:] - INFO  [main:Environment@109] - Client environment:java.io.tmpdir=/tmp
2019-08-04 19:05:45,196 [myid:] - INFO  [main:Environment@109] - Client environment:java.compiler=<NA>
2019-08-04 19:05:45,197 [myid:] - INFO  [main:Environment@109] - Client environment:os.name=Linux
2019-08-04 19:05:45,197 [myid:] - INFO  [main:Environment@109] - Client environment:os.arch=amd64
2019-08-04 19:05:45,197 [myid:] - INFO  [main:Environment@109] - Client environment:os.version=3.10.0-862.9.1.el7.x86_64
2019-08-04 19:05:45,197 [myid:] - INFO  [main:Environment@109] - Client environment:user.name=root
2019-08-04 19:05:45,197 [myid:] - INFO  [main:Environment@109] - Client environment:user.home=/root
2019-08-04 19:05:45,197 [myid:] - INFO  [main:Environment@109] - Client environment:user.dir=/opt/bigdata/zookeeper/apache-zookeeper-3.5.5-bin
2019-08-04 19:05:45,197 [myid:] - INFO  [main:Environment@109] - Client environment:os.memory.free=235MB
2019-08-04 19:05:45,199 [myid:] - INFO  [main:Environment@109] - Client environment:os.memory.max=245MB
2019-08-04 19:05:45,199 [myid:] - INFO  [main:Environment@109] - Client environment:os.memory.total=245MB
2019-08-04 19:05:45,202 [myid:] - INFO  [main:ZooKeeper@868] - Initiating client connection, connectString=localhost:2181 sessionTimeout=30000 watcher=org.apache.zookeeper.ZooKeeperMain$MyWatcher@7e774085
2019-08-04 19:05:45,209 [myid:] - INFO  [main:X509Util@79] - Setting -D jdk.tls.rejectClientInitiatedRenegotiation=true to disable client-initiated TLS renegotiation
2019-08-04 19:05:45,218 [myid:] - INFO  [main:ClientCnxnSocket@237] - jute.maxbuffer value is 4194304 Bytes
2019-08-04 19:05:45,226 [myid:] - INFO  [main:ClientCnxn@1653] - zookeeper.request.timeout value is 0. feature enabled=
Welcome to ZooKeeper!
2019-08-04 19:05:45,233 [myid:localhost:2181] - INFO  [main-SendThread(localhost:2181):ClientCnxn$SendThread@1112] - Opening socket connection to server localhost/0:0:0:0:0:0:0:1:2181. Will not attempt to authenticate using SASL (unknown error)
JLine support is enabled
2019-08-04 19:05:45,312 [myid:localhost:2181] - INFO  [main-SendThread(localhost:2181):ClientCnxn$SendThread@959] - Socket connection established, initiating session, client: /0:0:0:0:0:0:0:1:39538, server: localhost/0:0:0:0:0:0:0:1:2181
2019-08-04 19:05:45,334 [myid:localhost:2181] - INFO  [main-SendThread(localhost:2181):ClientCnxn$SendThread@1394] - Session establishment complete on server localhost/0:0:0:0:0:0:0:1:2181, sessionid = 0x107690b1fd20000, negotiated timeout = 30000

WATCHER::

WatchedEvent state:SyncConnected type:None path:null

[zk: localhost:2181(CONNECTING) 0] help
ZooKeeper -server host:port cmd args
	addauth scheme auth
	close 
	config [-c] [-w] [-s]
	connect host:port
	create [-s] [-e] [-c] [-t ttl] path [data] [acl]
	delete [-v version] path
	deleteall path
	delquota [-n|-b] path
	get [-s] [-w] path
	getAcl [-s] path
	history 
	listquota path
	ls [-s] [-w] [-R] path
	ls2 path [watch]
	printwatches on|off
	quit 
	reconfig [-s] [-v version] [[-file path] | [-members serverID=host:port1:port2;port3[,...]*]] | [-add serverId=host:port1:port2;port3[,...]]* [-remove serverId[,...]*]
	redo cmdno
	removewatches path [-c|-d|-a] [-l]
	rmr path
	set [-s] [-v version] path data
	setAcl [-s] [-v version] [-R] path acl
	setquota -n|-b val path
	stat [-w] path
	sync path
Command not found: Command not found help

# 创建目录
[zk: localhost:2181(CONNECTED) 1] create /test
Created /test

[zk: localhost:2181(CONNECTED) 3] create /test/test01
Created /test/test01

# 设置目录值
[zk: localhost:2181(CONNECTED) 4] set /test/test01 "rolin"

# 获取目录值
[zk: localhost:2181(CONNECTED) 5] get /test/test01
rolin

#列出目录下文件
[zk: localhost:2181(CONNECTED) 6] ls /test
[test01]


[zk: localhost:2181(CONNECTED) 7]
rolin-刘瑞
关注
专栏目录
Zookeeper伪分布式集群环境搭建过程
无声黑白的博客
01-11 900
Zookeeper伪分布式集群环境搭建过程前言 ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，目前很多架构都基于它来实现配置维护、域名服务、分布式同步、组服务等等。 ZooKeeper的基本运转流程： 1.选举Leader 2.同步数据 3.选举Leader过程中算法有很多，但要达到的选举标准是一致的 4.Leader要具有最高的zxid 5.集群中大多数的机器得到响
zookeeper伪分布式集群搭建
幸运的天才小驴的专栏
02-26 1074
安装步骤 第一步上传zookeeper-348targz并解压 第二步配置zookeeper 1 在zookeeper01中创建一个 data的文件夹 2 在data中创建一个myid的文件 3 在myid文件的内容为1 4 zookeeper01zookeeper03依次类推 5 修改配置文件 51修改zookeeper01的配置文件 52修改zookeeper02的配置文件 53修改zo...
zookeeper伪分布式集群环境搭建
weixin_30951231的博客
05-10 117
step1、下载 下载地址：http://zookeeper.apache.org/releases.html 将下载的压缩包放到用户家目录下（其他目录也可以） step2、解压 [plain]view plaincopy $tar–zxvfzookeeper-3.4.6.tar.gz 重命名 [plain]vie...
ZooKeeper(一)：创建仲裁模式服务器集群
甘焕的博客
09-04 2606
1. 准备配置文件首先进入ZooKeeper的安装目录，复制多份ZooKeeper配置文件，如下：# 创建三份配置文件 cp conf/zoo_sample.cfg conf/zoo-1.cfg cp conf/zoo_sample.cfg conf/zoo-2.cfg cp conf/zoo_sample.cfg conf/zoo-3.cfg在每份配置文件“conf/zoo_n.cfg”的末尾
分布式锁-这一篇全了解(Redis实现分布式锁完美方案)
热门推荐
Franco的博客
12-31 2万+
前言 在某些场景中，多个进程必须以互斥的方式独占共享资源，这时用分布式锁是最直接有效的。 随着技术快速发展，数据规模增大，分布式系统越来越普及，一个应用往往会部署在多台机器上（多节点），在有些场景中，为了保证数据不重复，要求在同一时刻，同一任务只在一个节点上运行，即保证某一方法同一时刻只能被一个线程执行。在单机环境中，应用是在同一进程下的，只需要保证单进程多线程环境中的线程安全性，通过 JAV...
伪分布式安装(VMware_Hadoop - HBase - Zookeeper).docx
08-21
本文档主要讲述了使用 VMware 搭建伪分布式环境的步骤，包括虚拟机的安装、网络配置、JDK 的安装、Hadoop、HBase 和 Zookeeper 的安装等。 描述解读 该文档是根据老师讲的笔记记录的环境搭建笔记，供以后使用。该...
zookeeper之分布式环境搭建.zip
最新发布
06-14
标题"zookeeper之分布式环境搭建"暗示了我们将探讨如何在多台机器上设置和配置Zookeeper以构建一个可靠的分布式环境。Zookeeper分布式环境的搭建主要包括以下几个步骤： 1. **系统需求**：首先，确保所有参与的...
大数据环境搭建-Hadoop伪分布式安装-spark安装-kafka安装
神秘人
05-02 565
1、 所需安装包 CentOS-7-x86_64-DVD-1908.iso VMware-workstation-full-15.1.0-13591040.exe FileZilla_3.43.0_win64_sponsored-setup.exe jdk1.8.0_171 hadoop-2.7.3 scala-2.12.1 spark-2.3.0-bin-hadoop2.7 2、修改主机名 ...
HBase完全分布式搭建-new.docx
06-25
### HBase 完全分布式集群搭建详解 #### 一、前言 本文档详细介绍了如何在已有Hadoop集群的基础上搭建HBase的完全分布式集群。HBase作为一款高性能、可扩展的分布式数据库，非常适合处理大规模非结构化数据。通过...
ZooKeeper的实践(一):ZooKeeper仲裁机制
熊出陌
01-18 2669
ZooKeeper仲裁机制概述仲裁深入分析节点的数量问题总结 概述 zk服务器运行模式分成两种： 独立模式 仲裁模式 如果是用独立模式(standalone)，则zk的状态是无法进行复制的，这才生产环境中，会造成一定的风险，事实上，我们确实有这种情况存在，这源于初期架构的思考和公司经济的问题。而在仲裁(quorun)模式下，则是我们当前流行的分布式集群，我们称之为集合。是用仲裁，不仅可以进行状态...
ZooKeeper客户端操作命令详解
rzpy_qifengxiaoyue的博客
08-08 658
启动服务端 ./zkServer.sh start 启动客户端并连接服务端 ./zkcli.sh 连接本地的zookeeper服务器 ./zkCli.sh -server ip:port 连接指定的服务器 连接成功后，系统会输出zookeeper的相关环境及配置信息，如下所示 Connecting to localhost:2181 2020-08-08 17:53:05,144 [myid:] - INFO [main:Environment@98] - Client environment:
Zookeeper 服务器端和客户端扩大节点数据1M大小限制
zyq_2014的博客
01-06 1万+
Zookeeper中每个结点默认的数据量上限是1M，如果需要存入大于1M的数据量，则要修改jute.maxbuffer参数，先来看下zookeeper中这个参数的意义 jute.maxbuffer： 默认值1048575，单位字节，用于配置单个数据节点（ZNode）上可以存储的最大数据大小。需要注意的是，在修改该参数的时候，需要在zookeeper集群的所有服务端以及客户端上设置才能生效。 接...
Zookeeper集群搭建
飞雪迎春
12-11 527
本文为Zookeeper伪集群搭建，步骤如下 1、下载apache-zookeeper-3.6.2-bin.tar.gz安装包。下载地址：Zookeeper下载地址
4.3实训任务 Zookeeper安装与配置
c_lanxiaofang的博客
05-02 2511
一、Zookeeper的下载 1、官网下载地址 Apache ZooKeeper 注意：要下载对应Hadoop版本的Zookeeper 通过 hadoop version 命令查看Hadoop版本 2、我下载的3.7.0 https://dlcdn.apache.org/zookeeper/zookeeper-3.7.0/apache-zookeeper-3.7.0-bin.tar.gz 二、Zookeeper安装 Zookeeper单机模式安装 1、配置java环境（之.
大哥们 ，kafka启动卡在这儿是什么原因啊，不加载
m0_51168511的博客
04-08 893
root@user-virtual-machine:/usr/local/kafka/kafka_2.12-2.8.0# bin/kafka-server-start.sh config/server.properties [2023-04-08 19:27:42,589] INFO Registered kafka:type=kafka.Log4jController MBean (kafka.utils.Log4jControllerRegistration$) [2023-04-08 19:27:42
ZooKeeper高级配置参数。
孤芳不自赏
03-05 5066
参数名 说明 dataLogDir 该参数有默认值：dataDir，可以不配置，不支持系统属性方式配置。 参数dataLogDir用于配置ZooKeeper服务器存储事务日志文件的目录。默认情况下，ZooKeeper会将事务日志文件和快照数据存储在同一个目录中，应尽量将这两者的目录区分开来。 另外，如果条件允许，可以将事务日志的存储配置在一个单独的磁盘上。事...
ELK+kafka缓存收集日志
Mr.李的博客
06-30 738
kafka收集elk日志 Kafka是最初由Linkedin公司开发，是一个分布式、支持分区的（partition）、多副本的（replica），基于zookeeper协调的分布式消息系统，它的最大的特性就是可以实时的处理大量数据以满足各种需求场景; 之前搭建过Redis做为中间件来缓存日志，由于redis做消息队列并不是他的强项，日志量过多就会有他自己的瓶颈，不能很好的缓解es集群的压力，正规的企业还是会引进专业的kafka消息队列作为中间件，来满足PB级别的日志量。 kafka做消息系统的优势： 解
zookeeper 客户端常用命令_Zookeeper的简单使用
weixin_39620535的博客
11-24 142
ZookeeperZookeeper是chubby 的开源实现,保证分布式一致性的特性。chubby 是 google 的，完全实现 paxos 算法，不开源。zookeeper 是 chubby的开源实现，使用 zab 协议，paxos 算法的变种。特点1. 顺序一致性 2. 原子性 3. 单一视图 4. 可靠性 5. 实时性（最终一致性）使用场景数据的发布订阅：一般包含两种模式推（Push）拉...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值