zookeeper
文章平均质量分 73
__Simon'
如山间清爽的风,如古城温暖的阳光。
展开
-
zookeeper+storm+kafka集群完全配置
zookeeper配置 参数名 说明 clientPort 客户端连接server的端口,即对外服务端口,一般设置为2181 dataDir 存储快照文件snapshot的目录。默认情况下,事务日志也会存储在这里。建议同时配置参数dataLogDir, 事务日志的写性能直接影响zk性能。 tickTime ZK中的一个时间单元。ZK中所有时间...原创 2018-07-27 16:14:28 · 2125 阅读 · 0 评论 -
Storm排错调优之Worker重启
Storm排错调优之Worker重启 在storm运行log中可以看到worker.log日志显示shutting down xxxworker。 在相同的时间点位于storm运行日志中的supervisor.log显示kill xx...原创 2018-08-16 12:10:20 · 2791 阅读 · 0 评论 -
Storm排错调优之SessionTimeout
Storm排错调优之SessionTimeout 在Storm的日志和zk的日志中均有如下连接超时信息:Unable to read additional data from client sessionid 0x364f4b880...原创 2018-08-16 14:08:06 · 3518 阅读 · 0 评论 -
Zookeeper事务日志
1.事务日志和快照 ZooKeeper集群中的每个服务器节点每次接收到写操作请求时,都会先将这次请求发送给leader,leader将这次写操作转换为带有状态的事务,然后leader会对这次写操作广播出去以便进行协调。当协调通过(大多数节点允许这次写)后,leader通知所有的服务器节点,让它们将这次写操作应用到内存数据库中,并将其记录到事务日志中。当事务日志记录的次数达到一定...原创 2018-12-14 13:09:21 · 924 阅读 · 0 评论 -
storm在zookeeper中的目录存储信息
storm在zk中的目录图:/-{storm-zk-root} -- storm在zookeeper上的根目录(默认为/storm) | |-/assignments -- topology的任务分配信息 | | | |-/{topology-id} -- 这个下面保存的是每个topology的assignments信息包括:...原创 2018-12-14 13:38:04 · 1216 阅读 · 0 评论 -
storm在zookeeper中心跳流程
storm和zookeeper的数据交互总结:Nimnus和Supervisor之间通过/storm/supervisor/topology-id对应的数据进行心跳保持。Supervisor在创建这个路径时采用的是临时节点模式,只要Supervisor死掉这个节点就会被删除,Nimbus就会将分配给这个Supervisor的任务重新进行分配 Worker和Supervisor之间/s...原创 2018-12-14 15:42:36 · 1165 阅读 · 1 评论 -
storm使用zookeeper造成事务日志过大的解决方案
storm配置参数:https://blog.csdn.net/Simon_09010817/article/details/81236544其中:supervisor.heartbeat.frequency.secs supervisor心跳发送频率(多久发送一次) 默认为5sworker.heartbeat.frequency.secs worker的心跳...原创 2018-12-14 18:20:20 · 2197 阅读 · 0 评论 -
Zookeeper源码编译(Zookeeper 3.4.11)并IDEA启动
一: 准备工作 1.下载Ant并安装 由于Zookeeper是由Ant编译,需下载Ant并安装配置 下载地址:https://ant.apache.org/bindownload.cgi2.安装Ant: 解压:配置环境变量:ANT_HOME D:\devople\apache-ant-1.10.6Path ...原创 2019-06-13 14:46:28 · 3263 阅读 · 1 评论