搭建zk,kafka环境所遇到的问题

最新推荐文章于 2024-08-16 18:40:45 发布
最新推荐文章于 2024-08-16 18:40:45 发布
阅读量848 收藏
点赞数
分类专栏： kafa zk 文章标签： zk zookeeper kafa
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ronon77/article/details/84759321
版权

env:

jdk 1.8
centos 7.1

zookeeper 3.4.6 选这版体是因为对kafka做了很多优化，修改

 




Q1：zk启动不了

A1:  ./zkServer.sh start-foreground     发现少了myid 

解决 ：在zk数据文件存放目录下（见 $ZK/conf/zoo.cfg，dataDir属性），创建myid文件并写入一个数字用来标识本节点（类似这个节点的身份证）。

#示例节点 dataDir=/home/crxj-coll/zookeeper-3.4.5/data
cd /home/crxj-coll/zookeeper-3.4.5/data
#这个节点准备命名为 第8号节点，新建文件myid并写入数字8
echo '8' > /var/tmp/zookeeper/myid

Q2:status 状态访问不了,Error contacting service. It is probably not running.

A2：通

这里有一个很好的Pdf，介绍了很多zookeeper的东东，作者是zookeeper的committer之一：
http://www.infoq.com/presentations/Misconfiguration-ZooKeeper
另外，这里有一个总结：http://marcin.cylke.com.pl/blog/2013/03/21/zookeeper-tips/
配置zookeeper开机启动




[plain] view plaincopy



if [ "x${ZOO_LOG_DIR}" = "x" ] 
then 
    ZOO_LOG_DIR="$ZOOBINDIR/../logs" 
fi 
 
if [ "x${ZOO_LOG4J_PROP}" = "x" ] 
then 
    ZOO_LOG4J_PROP="INFO,ROLLINGFILE" 
fi 



再在/etc/init.d目录下增加zookeeper1文件，并加个可执行权限：



[plain] view plaincopy



cd /etc/init.d 
touch zookeeper1 
chmod +x zookeeper1 

再修改zookeeper1的内容为：





[plain] view plaincopy



#/bin/sh  
#chkconfig: 2345 20 80    
# description:  zookeeper1 
case $1 in 
          start) su zookeeper /home/zookeeper/zookeeper345_1/bin/zkServer.sh start   ;; 
          stop) su zookeeper /home/zookeeper/zookeeper345_1/bin/zkServer.sh stop;; 
          status) su zookeeper /home/zookeeper/zookeeper345_1/bin/zkServer.sh status;; 
          restart) su zookeeper /home/zookeeper/zookeeper345_1/bin/zkServer.sh restart;; 
              *)  echo "require start|stop|status|restart"  ;; 
esac 

最后用chkconfig -add zookeeper1 增加服务。这样就搞定了。注意用su zookeeper来切换到zookeeper用户。如果是想配置Upstart方式的启动，可以参考：http://blog.csdn.net/hengyunabc/article/details/18967627



zookeeper VIRT虚拟内存占用过大的问题：
这个和zookeeper的实现有关，参考这里：http://zookeeper-user.578899.n2.nabble.com/setting-zookeeper-heap-size-td6983511.html


Unreasonable length的问题：
https://issues.apache.org/jira/browse/ZOOKEEPER-1513目前线上用的是345版本，而zookeeper最后的release版本就是这个，有大概一年多没更新了。。这个问题有可能是client尝试向zookeeper上放超过1M的数据时，出现的。想修改这个默认配置，则可以修改"jute.maxbuffer"这个环境变量。参考：http://zookeeper.apache.org/doc/r3.3.3/zookeeperAdmin.html但是我们线上是因为端口扫描工具造成的，这个就相当地诡异了。停止端口扫描工具之后，就没有这个问题了。



watches数量多的问题：
dubbo对于每个结点都会watch，导致watch数很多，随便都几千个。用wchs，wchc，wchp这些命令可以查看watches的信息，包括总数，每条路径上的watch的数量。每个client的。


查找不能成功启动原因：
zookeeper会有很多原因启动不成功，可以通过:


[plain] view plaincopy



./zkServer.sh start-foreground 

来查看启动时报的是什么异常，同时也可以查看运行过程中的异常。另外，通过：



[plain] view plaincopy



./zkServer.sh print-cmd 

可以查看zookeeper启动的各个参数，包括java路径等，也可以便于查找问题。


配置自动清理日志：
从3.4.0开始，会自动清理日志了，所以这个通常不用配置。
配置autopurge.snapRetainCount 和 autopurge.purgeInterval 参数。
保留的snapshop的数量，默认是3个，最小也是3.



[plain] view plaincopy



autopurge.snapRetainCount=3 
autopurge.purgeInterval=1 

参考这里：http://nileader.blog.51cto.com/1381108/932156



配置zookeeper.out的位置及log4j滚动日志输出
今天发现线上的bin/zookeeper.out 居然有6G大小。看了下zkServer.sh的代码，这个zookeeper.out实际上是nohup的输出。

研究了下bin/zkServer.sh和conf/log4j.properties，发现zookeeper其实是有日志相关的输出的配置，只要定义相关的变量就可以了。

zkServer.sh里的：



[plain] view plaincopy



if [ ! -w "$ZOO_LOG_DIR" ] ; then 
mkdir -p "$ZOO_LOG_DIR" 
fi 
 
_ZOO_DAEMON_OUT="$ZOO_LOG_DIR/zookeeper.out" 
 
    nohup $JAVA "-Dzookeeper.log.dir=${ZOO_LOG_DIR}" "-Dzookeeper.root.logger=${ZOO_LOG4J_PROP}" \ 
    -cp "$CLASSPATH" $JVMFLAGS $ZOOMAIN "$ZOOCFG" > "$_ZOO_DAEMON_OUT" 2>&1

log4j.properties里的：





[plain] view plaincopy



# 
# Add ROLLINGFILE to rootLogger to get log file output 
#    Log DEBUG level and above messages to a log file 
log4j.appender.ROLLINGFILE=org.apache.log4j.RollingFileAppender 
log4j.appender.ROLLINGFILE.Threshold=${zookeeper.log.threshold} 
log4j.appender.ROLLINGFILE.File=${zookeeper.log.dir}/${zookeeper.log.file} 


而zkServer.sh会加载zkEnv.sh。

https://gist.github.com/hengyunabc/61d74672e7a662a5366c



[plain] view plaincopy



if [ "x${ZOO_LOG_DIR}" = "x" ] 
then 
    ZOO_LOG_DIR="$ZOOBINDIR/../logs" 
fi 
  
if [ "x${ZOO_LOG4J_PROP}" = "x" ] 
then 
    ZOO_LOG4J_PROP="INFO,ROLLINGFILE" 
fi 


还可以修改下conf/log4j.properties，设置滚动日志最多为10个：





[python] view plaincopy



# Max log file size of 10MB 
log4j.appender.ROLLINGFILE.MaxFileSize=10MB 
# uncomment the next line to limit number of backup files 
log4j.appender.ROLLINGFILE.MaxBackupIndex=10 

Too many connections from 错误
这个错误是因为同一个IP的zookeeper socket 连接数大于60了。zookeeper server默认限制每个IP最多60个连接。

修改为：

http://zookeeper.apache.org/doc/current/zookeeperAdmin.html#sc_advancedConfiguration
This ZooKeeper instance is not currently serving requests 的错误提示

通常在，只启动第一台zookeeper时会报这个错误。

Exception causing close of session 0x0 due to java.io.IOException: ZooKeeperServer not running
Zookeeper连接速度很慢，Dubbo初始化很慢，应用启动很慢的问题

启动过程没有报错，只是Dubbo的注册信息日志一直在比较慢地刷。

再检查Zookeeper的配置，磁盘的空间，应用的dubbo配置，jvm配置，发现都没有问题。

这样确认是zookeeper本身比较慢，不是应用的问题。

于是问了下运维的同事，原来新机器是用共享磁盘的，所以速度很慢。

后来运维的同事换为本地磁盘，一切恢复正常。

管理工具：

Zookeeper官方自带的管理员工具：
http://zookeeper.apache.org/doc/trunk/zookeeperAdmin.html    官方的命令行工具可以胜任绝大部分工作了。



zktop
https://github.com/phunt/zktop  python写的小工具，很有意思


taokeeper
项目地址：https://github.com/alibaba/taokeeper
淘宝出品的一个监控工具，还有可以用脚本来监控的功能。虽然开源了，但是实际上很难用，代码也很难扩展，而且有些jar包是淘宝内部的。
我修改了下，可以正常使用，代码地址在：https://github.com/hengyunabc/taokeeper
但是我们线上也没有用这个，线上只有zabbix的监控。
安装配置参考：

编译
1.下载这两个项目：  git clone https://github.com/hengyunabc/common-toolkit.git  git clone https://github.com/nileader/zkclient.git  先分别执行 mvn -Dmaven.test.skip install2.下载本项目：  git clone https://github.com/hengyunabc/taokeeper.git  执行  mvn -Dmaven.test.skip clean package  到taokeeper-monitor/target/目录就可以看到生成的War包了。



部署
taokeeper使用mysql数据库来保存一些配置和日志。 导入taokeeper-build/etc/taokeeper.sql 文件，也可以从这里下载：文件:Taokeeper.sql.zip 。 配置tomcat启动参数，增加JVM启动参数：  JAVA_OPTS=-DconfigFilePath="~/taokeeper/taokeeper-monitor-config.properties"并在上面的配置中配置好参数，例如： systemInfo.envName=TEST#DBCPdbcp.driverClassName=com.mysql.jdbc.Driverdbcp.dbJDBCUrl=jdbc:mysql://localhost:3306/taokeeperdbcp.characterEncoding=GBKdbcp.username=rootdbcp.password=rootdbcp.maxActive=30dbcp.maxIdle=10dbcp.maxWait=10000#SystemConstantSystemConstent.dataStoreBasePath=~/taokeeper/#SSH account of zk serverSystemConstant.userNameOfSSH=helloSystemConstant.passwordOfSSH=hello其中SSH用户密码要配置对，zookeeper部署的机器要开放SSH服务。 把生成的War包改为ROOT.war，放到tomcat的webapps目录下，启动tomcat。 如果报log4j错误，则还要配置webapps/ROOT/WEB-INF/classes/log4j.properties 文件。也可以在编绎前先修改好。 打开 http://localhost:8080/ ，就可以看到taokeeper的界面了。

工作原理
taokeeper通过SSH连接到zookeeper部署的机器上，再在上面执行zookeeper的Four Letter Words来得到统计信息，再分析保存到mysql数据库中。 参考：http://zookeeper.apache.org/doc/trunk/zookeeperAdmin.html#sc_zkCommands 监控目标机器的负载，也是通过SSH连接到目标机器，再执行top等命令，再分析得到数据。 注意事项
在chrome浏览器下，“机器监控”这个功能有时会把信息显示下浏览器的下面，要拉到最后才能看到，并不是这个功能不能工作。



Exhibitor


Exhibitor的主要功能 监控本机的Zookeeper服务，可以自动重启挂掉的Zookeeper服务； 定期备份数据； 定期清理Zookeeper日志； 提供了一个Web界面可以修改Zookeeper的数据； REST API。

Exhibitor安装
Exhibitor提供了三种运行方式：独立的jar文件，War包，core jar。推荐用jar方式运行，配置管理都很方便。 安装方法可以参考这里：https://github.com/Netflix/exhibitor/wiki/Building-Exhibitor，也可以从这里下载已经编绎好的jar文件:文件:Exhibitor-war-1.0-jar-with-dependencies.zip，下载后要修改后缀为jar。

运行
java -jar /exhibitor-xxx.jar -c fileExhibitor自动创建配置文件，在web界面所做的配置更改都会保存到exhibitor.properties中。

配置项
参考：https://github.com/Netflix/exhibitor/wiki/Configuration-UI 在配置“Servers”参数时，一定要注意要配置的是hostname，而不是IP。所以如果配置的是IP的话，一定要到目标机器上去检查hostname和IP是否一致。

注意事项
Exhibitor通过jps命令来判断Zookeeper服务是否运行，所以要配置好jps命令，如果没有当前没有jps命令的话，可以通过类似如下的命令创建一个软链接： ls -s /home/www/jdk/jdk1.7.0_15/bin/jps /usr/bin/jps Exhibitor会自动创建并覆盖zookeeper的配置文件，所以要在Web界面上把Zookeeper的所有参数都配置， 否则如果Zookeeper被Exhibitor重启后，可以会出现因为配置有错误而无法启动的状况。 在“control panel”面板中，当显示绿色，则说明Zookeeper服务正常，可以对外服务，当显示黄色或者红色， 则Zookeeper不能对外提供服务（这个和Zookeeper进程是否存在，是两个概念，即使Zookeeper进程存在，也可能无法对外提供服务）。 Exhibitor会定时探测Zookeeper服务是否正常，但是时间间隔默认配置为0，这个会导致机器CPU被消耗。要在Web界面中配置好“Live Check (ms)”参数。 因为Exhibitor如果探测到Zookeeper服务没有启动，会自动启动Zookeeper进程，所以在升级Zookeeper之前，要先停掉Exhibitor。

其它的一些东东：

性能测试相关：
https://github.com/brownsys/zookeeper-benchmark
这个工具输出结果比较乱，不过用起来还不错。
    mvn -DZooKeeperVersion=3.4.5 package
    ./runBenchmark.sh  test
然后在test文件夹下，会有生成的信息。主要在zk-benchmark.log这个文件里。

http://zookeeper.apache.org/doc/r3.4.5/zookeeperOver.html 
http://wiki.apache.org/hadoop/ZooKeeper/ServiceLatencyOverview 自带的文档里有一点，不过貌似没更新过http://wiki.apache.org/hadoop/ZooKeeper/ServiceLatencyOverview   Hadoop里带的一个测试https://ramcloud.stanford.edu/wiki/display/ramcloud/ZooKeeper+Performance http://rdc.taobao.com/team/jm/archives/1070  淘宝的一个测试



 

ronon77
关注
专栏目录
kafka集群搭建和搭建中遇到的相关问题
奔跑的熊猫
02-17 1223
kafka集群搭建
Kafka详解(包括kafka集群搭建)
热门推荐
wudidahuanggua的博客
09-29 6万+
对kafka细致的解析，从理论到集群搭建实战
kafka连接zookeeper失败导致无法启动
weixin_43168278的博客
05-28 813
Linux服务器磁盘使用率100%导致kafka服务挂掉，推测是别的生产者往kafka服务器不停的塞数据把服务器塞爆了，服务器总空间60g，然后进到服务器查看kafka默认数据存储路径/tmp/kafka_logs就占了37g特别是目标topic，由于这个kafka服务器是我们组内自建的，kafka历史数据不是很重要，所以决定把目标topic删掉释放一些空间。
kafka配置中启动zookeeper时没有启动成功的解决办法
m0_52165864的博客
07-16 3467
然后去查看/etc/hosts里面的ip地址有没有写错这里出错是因为之前里面的文件ip只写了一台虚拟机的，然后三台都加上了，然后再去查看/opt/apache-zookeeper-3.6.3-bin/conf/zoo.cfg。前面的一切配置文件配置完成之后，启动在bin目录下./zkServer.shstart，启动是成功的，然后查看状态./zkServer.shstatus。其中zoo.cfg是进行了复制操作的cpzoo_sample.cfgzoo.cfg。......
kafka无法启动，提示连接zookeeper超时
最新发布
IT布道
08-16 1843
由于/etc/resolv.conf配置了域名服务器的ip，导致kafka连不上zookeeper
Dubbo应用启动注册ZK获取IP慢的原因之一
08-06 3693
突然有一天，我的idea启动应用慢了，要3分钟才能启动完毕。主要看到的log中有 No valid ip found from environment, try to find valid host from DNS. 看了一下是主要是dubbo注册的时候慢，我一度以为公司的对我的ip有做限制了，因为其他人启动又很快。 1：第一次思路是我自己下载了zk运行起来注册到本地来看看，也是照样慢。 2：idea慢，我设置了idea的启动最大内存为2G，这之前我没设置过，后发现也无效。 3：我一度以为我的I.
关于dubbo注册到zookeeper速度慢的问题
KARL的移动码堡
03-09 1709
之前启动spring boot + dubbo的项目，发现启动的时候贼慢，一直以为是java启动的问题，后来研究发现是dubbo注册到zk的速度慢的一批，这里记录一下。 发现在注册解析的时候应该是花了时间去解析主机名，这边linux命令行执行一下 hostname 然后vim /etc/hosts 编辑模式，将自己的ip和主机名映射加进来 这样就OK啦。我这里使用的是单机模式，所以使用127....
zk+kafka详解
weixin_34284188的博客
03-29 983
一、为什么需要消息系统 1.解耦：　　允许你独立的扩展或修改两边的处理过程，只要确保它们遵守同样的接口约束。2.冗余：　　消息队列把数据进行持久化直到它们已经被完全处理，通过这一方式规避了数据丢失风险。许多消息队列所采用的"插入-获取-删除"范式中，在把一个消息从队列中删除之前，需要你的处理系统明确的指出该消息已经被处理完毕，从而确保你的数据被安全的保存直到你使用完毕。3.扩展性：　　因为消息队列...
kafka在centos7上搭建及springboot集成kafka的小demo用例
02-17
在本文中，我们将深入探讨如何在CentOS 7系统上搭建Apache Kafka，并通过Spring Boot进行集成，以便在分布式环境中实现消息传递。首先，我们需要确保具备一个支持Java的环境，因此开始时我们会设置JDK。 1. **JDK...
[Java大数据入门]Kafka环境搭建
刘梦浩的博客
02-22 737
文章目录一、Kafka介绍二、Kafka安装三、Kafka常见shell命令四、Kafka管理UI部署五、总结 一、Kafka介绍 Kafka官网 二、Kafka安装 版本： 1.0.0 安装包： kafka_2.12-1.0.0.tgz 关于安装包的说明： 2.12代表此安装包是使用2.12版本的scala编译的，并不代表kafka的版本 1.0.0代表kafka的版本 使用1.0.0版本是因...
kafka启动，但是没有添加到zk节点
AlbertLiangzt的博客
05-27 1988
kafka启动，但是没有添加到节点 Creating /brokers/ids/2 (is it secure? false) (kafka.utils.ZKCheckedEphemeral) 是zk节点配置有问题 修改配置，重启zk，重启kafka解决 *可以删除kakfa节点 ./zkCli.sh rmr /brokers zookeeper安装l链接 https://blog.csdn.net/AlbertLiangzt/article/details/105871132 ...
zk下的kafka节点
weixin_30569033的博客
07-14 153
zk从某种程度上说是kafka的单点失效组件。 /brokers:里面保存了Kafk集群的所有信息，包括每台broker的注册信息，集群上所有topic的信息等。 /controller:保存了Kafka controller组件(controller负责集群的领导者选举)的注册信息，同时也负责controller的动态选举. /admin:保存管理脚本的输出结果,比如删除topi...
Kafka集群无法外网访问问题解决攻略
能量守恒洛的专栏
05-10 9985
Kafka集群无法外网访问问题解决方法  讲解本地Consumer和Producer无法使用远程Kafka服务器的处理办法 服务搭建好kafka服务后，本机测试ok，外面机器却无法访问，很是怪异。 环境说明：  kafka服务器：  阿里云VPC网络服务器，内网ip：10.10.10.10，绑定的弹性ip（外网ip）x.x.x.x，是单机测试环境，zk和kafka都在一台机器上，使用默认
Exception causing close of session 0x0: null
jijian4222的博客
11-17 6745
Exception causing close of session 0x0: null zookeeper kafka 消费者通过shell脚本启动时，zookeeper报错： (https://img-blog.csdnimg.cn/20191117012400341.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shad...
kafka巨坑 启动失败
qq_36912167的博客
07-01 858
今天启动kafka遇到了一个巨坑，执行启动命令居然不报错(启动命令是错的配置文件多了一个字符串) 如下 可以明显发现图一多了一个字母t，图二是对的，但kafka对于图一没有报错。
Zookeeper运维总结
秀才的专栏
09-18 2506
 zookeeper VIRT虚拟内存占用过大的问题： 这个和zookeeper的实现有关，参考这里：http://zookeeper-user.578899.n2.nabble.com/setting-zookeeper-heap-size-td6983511.html 线上的zookeeper的VIRT有30多G，查看了data, dataLog，总共才几百M。不过一直没什么问题。
Tomcat：IOException while loading persisted sessions: java.io.EOFException
woshimyc的专栏
07-22 349
Tomcat：IOException while loading persisted sessions: java.io.EOFException原因是tomcat对硬盘的session读取失败，彻底解决办法一下：将work下面的文件清空，主要是*.ser文件，或者只是删除掉se
zookeeper节点数太多导致的服务瘫痪
yuanwangliu的专栏
02-17 6117
zookeeper客户端连不上服务器，查看服务端日志 文件zookeeper.out（目录见 /usr/local/zookeeper/conf/zoo.cfg中的dataLogDir配置项）如下： 2016-02-16 11:17:44,503 [myid:2] - WARN  [QuorumPeer[myid=2]/0:0:0:0:0:0:0:0:2181:Follower@89]
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值