Zookeeper踩坑记

最新推荐文章于 2022-03-29 20:23:49 发布
VIP文章 最新推荐文章于 2022-03-29 20:23:49 发布
阅读量999 收藏
点赞数
分类专栏： 大数据 hadoop zookeeper linux 文章标签： zookeeper 数据 集群
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u014762921/article/details/77977375
版权

还记得上一次配置Zookeeper是半年以前的事了，这半年一直没有改动Zookeeper的配置文件，直到实习回校，自己的集群没有，重新下载搭一个Zookeeper集群，使用的最新的Zookeeper 3.4.10，结果立马踩到了坑里面，搞了一两个小时才弄好。

一、配置Zookeeper

我采用的是常见的配置。

数据目录：

/home/lee/data/zookeeper
分别配置了myid为

1,2,3

配置Zookeeper的配置文件

tickTime=2000
dataDir=/home/dengyiping/data/zookeeper
clientPort=2181
initLimit=5
syncLimit=2
server.1=hadoop-1:2888:3888
se
最低0.47元/天 解锁文章
Vtamins
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
zookeeper3.5.5镜像
06-29
zookeeper3.5.5镜像
一篇文章搞定大数据Zookeeper，让你少走很多弯路
zy13765287861的博客
03-18 2495
大数据技术之Zookeeper 第1章 Zookeeper入门 1.1 概述 Zookeeper是一个开源的分布式的，为分布式应用提供协调服务的Apache项目。 Zookeeper从设计模式角度来理解：是一个基于观察者模式设计的分布式服务管理框架，它负责存储和管理大家都关心的数据，然后接受观察者的注册，一旦这些数据的状态发生变化，Zookeeper就将负责通知已经在Zookeeper上注...
zoo.cfg
chenxiduan4748的博客
07-22 250
# The number of milliseconds of each tick tickTime=2000 # The number of ticks that the initial # synchronization phase can take initLimit=10 # The...
zookeeper
LiangKe_GLX的博客
09-24 512
Zookeeper简介 分布式系统定义面临的问题 我们将分布式系统定义为：分布式系统是同时跨越多个物理主机，独立运行的多个软件组成的系统。分布式系统优点显而易见，人多干活块，并且互为备份。但是缺点也随之而来，以一个小研发团队为例，假设我们有个5人研发团队，要开始项目的研发，会面临以下几种问题： 解决上诉问题的方法就是让信息同步。分布式系统的协调工作就是通过某种方式让各个节点的信息能够同步和共享。这依赖于服务进程之间通信，通信方式有两种： 通过网络进行信息共享 犹如现实生活一样，leader会在会议上将
Clickhouse彻底删除表, drop表后重新创建报错，Code: 342, Existing table metadata in ZooKeeper differs in primary key
qq_36724501的博客
03-29 9024
Clickhouse彻底删除表, drop表后重新创建报错，Code: 342, Existing table metadata in ZooKeeper differs in primary key如题，drop表正常，新建表时报错解决方式：在zookeeper上删除表重新建表成功 如题，drop表正常，新建表时报错 clickhouse建表时提示错误： Code: 342, e.displayText() = DB::Exception: Existing table metadata in ZooK
zookeeper集群部署配置dataDir路径踩坑记录
michaelwrong的专栏
04-10 6362
zookeeper集群部署要求，在每台机器上修改myid下的server标识，例如 dataDir=/home/jsp/data/zookeeper dataLogDir=/home/jsp/logs/zookeeper server.1=s100:2888:3888 server.2=s200:2888:3888 server.3=s300:2888:3888 其中dataDir的目录不支...
zookeeper连接工具
07-05
zookeeper连接工具,可视化数据查看
zookeeper限制ip版
04-12
修改 zookeeper 3.4.14 源码，添加黑、白名单功能。
zookeeper 3.6.3 源码下载
04-03
zookeeper 3.6.3 源码
Zookeeper实战记录（1）-安装部署
01-20
官方：Zookeeper是一个开源的分布式的，为分布式应用提供协调服务的Apache项目。提供的服务包括：统一命名服务、统一配置管理、统一集群管理、服务器节点动态上下线、软负载均衡等。 2、安装 官方下载地址：...
storm使用zookeeper造成事务日志过大的解决方案
Simon的博客
12-14 2148
storm配置参数： https://blog.csdn.net/Simon_09010817/article/details/81236544 其中: supervisor.heartbeat.frequency.secs    supervisor心跳发送频率(多久发送一次)  默认为5sworker.heartbeat.frequency.secs          worker的心跳...
zookeeper3.4.5自动清理日志
TURING.DT
04-13 1029
近期公司Zookeeper得log文件将系统占用快满了，查看相关文档， 从3.4.0开始，zookeeper提供了自动清理snapshot和事务日志的功能， 通过配置 autopurge.snapRetainCount 和 autopurge.purgeInterval 这两个参数能够实现定时清理了。 这两个参数都是在zoo.cfg中配置的，将其前面的注释去掉，根据需要修改日志保留个数：
Zookeeper-datadir
gohigher2018的博客
05-27 5319
1、事务日志文件目录［对磁盘性能要求高，因为，zk在返回client端事务请求响应之前，必须将本次请求对应的事务日志写入到磁盘中。最好单放一块盘］ 2、快照数据 在完成若干次事务日志之后（在ZK中，凡是对数据有更新的操作，比如创建节点，删除节点或是对节点数据内容进行更新等，都会记录事务日志），ZK会触发一次快照（snapshot），将当前server上所有节点的状态以快照文件的形式dump到磁...
zookeeper3.4.6配置实现自动清理日志
reblue520的专栏
08-25 640
在使用zookeeper过程中，我们知道，会有dataDir和dataLogDir两个目录，分别用于snapshot和事务日志的输出（默认情况下只有dataDir目录，snapshot和事务日志都保存在这个目录中，正常运行过程中，ZK会不断地把快照数据和事务日志输出到这两个目录，并且如果没有人为操作的话，ZK自己是不会清理这些文件的，需要管理员来清理，这里介绍4种清理日志的方法。在这4种...
磁盘爆满导致zookeeper卡住
Poche.Long的博客
03-19 2009
场景复现：线上服务器磁盘满了导致部署在上面的namenode zookeeper Kafka 均无法工作 抛出异常，清理kafka备份文件后系统磁盘还原了100G+，但是此时的zookeeper节点已经无法再加入集群。3台 zookeeper节点 出问题的节点在当时是作为leader工作的。错误日志抛出异常后节点挂掉。再次启动之后 该节点已经无法加入已经存在的集群中。经过查找相关资料https:/...
zookeeper服务优化
SouthPark的专栏
12-02 5891
1.快照文件和事务日志文件分别挂在不同磁盘。zoo.cfg文件中，dataDir是存放快照数据的，dataLogDir是存放事务日志的。zookeeper更新操作过程：先写事务日志，再写内存，周期性落到磁盘（刷新内存到快照文件）。事务日志的对写请求的性能影响很大，保证dataLogDir所在磁盘性能良好、没有竞争者。 2. 默认jvm没有配置Xmx、Xms等信息，可以在conf目录下创建java
zookeeper日志
大JAVA解决方案
02-10 1214
zookeeper运维(hengyunabc)目录来源:http://blog.csdn.net/hengyunabc/article/details/19006911分类： zookeeper Java 2014-02-09 15:06 3506人阅读 评论(0) 收藏 举报尽管zookeeper在编程上有很多的阱陷，API也非常的难用，但zookeeper服务本身可以说是很牢靠的了，所以在网上...
Zookeeper的崩溃恢复问题
frockee的专栏
10-17 4114
背景 UDDB（UCloud分布式数据库）产品的测试环境中有一个zk集群， 三节点。 某一天其中一个zk节点所在云主机崩溃了，无法启动。只好重装系统盘。  zk的执行码在系统盘上。为此重新安装了zk软件。 apt-get install zookeeper 即可。 zk的配置文件（zoo.cfg），三节点都是一样的， 从其他zk节点拷贝一份过来即可。 zk存储的数据在数据盘上。根据zk的崩...
zookeeper 启动
最新发布
04-05
ZooKeeper是一个开源的分布式协调服务，它提供了一个简单的接口，用于处理分布式应用程序中的一些关键任务，如统一命名服务、配置管理、分布式锁和分布式队列等。下面是ZooKeeper启动的步骤： 1. 下载和安装...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值