记kafka/zookeeper集群启动失败的问题

kafka集群启动失败

本人按照网上的步骤在三台虚拟机上搭建了kafka集群,但是在启动的时候发现kafka会秒退。查资料,可能的问题如下:
1、zk中的myid配置错误
2、kafka内存不足,修改ookeeper-server-start.sh文件
3、zk没有启动
由于通过jps启动后可以看到如下情况:

[root@centos-101 bin]# jps
1785 Kafka
2124 Jps
1421 QuorumPeerMain

kafka过几秒进程就会挂掉,而因此就以为是kafka的问题,zk是完全没有问题的(这里完全是错误的想法,但才开始并不知道,以为看到QuorumPeerMain就表示zk启动成功)。去看kafka的log日志,没看出来有啥问题。zk中myid也没啥问题,别人说内存不足发现根本没影响,难道是zk没有启动,但通过jps明明可以看到 QuorumPeerMain进程。执行zkService.sh status查看状态,却提示zk没启动,如下:

[root@centos-101 bin]# ./zkServer.sh status
ZooKeeper JMX enabled by default
Using config: /opt/module/zookeeper/zookeeper-3.4.14/bin/../conf/zoo.cfg
Error contacting service. It is probably not running.

通过查看zookeeper.out文件,发现如下信息:

2020-05-04 01:44:48,730 [myid:101] - WARN  [WorkerSender[myid=101]:QuorumCnxManager@584] - Cannot open channel to 102 at election address centos-102/192.168.187.131:3888
java.net.NoRouteToHostException: No route to host (Host unreachable)
        at java.net.PlainSocketImpl.socketConnect(Native Method)
        at java.net.AbstractPlainSocketImpl.doConnect(AbstractPlainSocketImpl.java:350)
        at java.net.AbstractPlainSocketImpl.connectToAddress(AbstractPlainSocketImpl.java:206)
        at java.net.AbstractPlainSocketImpl.connect(AbstractPlainSocketImpl.java:188)
        at java.net.SocksSocketImpl.connect(SocksSocketImpl.java:392)
        at java.net.Socket.connect(Socket.java:606)
        at org.apache.zookeeper.server.quorum.QuorumCnxManager.connectOne(QuorumCnxManager.java:558)
        at org.apache.zookeeper.server.quorum.QuorumCnxManager.toSend(QuorumCnxManager.java:534)
        at org.apache.zookeeper.server.quorum.FastLeaderElection$Messenger$WorkerSender.process(FastLeaderElection.java:454)
        at org.apache.zookeeper.server.quorum.FastLeaderElection$Messenger$WorkerSender.run(FastLeaderElection.java:435)
        at java.lang.Thread.run(Thread.java:748)
2020-05-04 01:44:48,731 [myid:101] - INFO  [WorkerSender[myid=101]:QuorumPeer$QuorumServer@185] - Resolve

其中No route to host (Host unreachable)这句话引起了我的注意,主机不可达?但三台虚拟机明明互相ping得通,难道是防火墙没有关闭。一看,果然没关防火墙,尝试将防火墙关闭之后,重新再启动zk和kafka一切正常。

一个防火墙的问题搞了几个小时,发现是真的蠢啊。

所以,一定要关闭防火墙!

所以,一定要关闭防火墙!

所以,一定要关闭防火墙!

还有出现了问题一定要记得多看日志。

kafka集群某一个节点启动会自动挂掉的问题

我的kafka集群是运行在虚拟机上的,由于非正常关机导致某一个虚拟机出问题了,不能正常开机,因此就删除了该虚拟机,从其他节点复制了一份过来。然后就是改ip,主机名,配置文件啥的,保证和之前的虚拟机一致。在做完上述操作后启动集群发现该虚拟机上的kafka启动失败,会自动挂掉,而zk是正常的,kafka集群的brokerid和zk中的myid都没问题。查看日志也没看出啥问题,后来发现是kafka的logs/meta.properties中的brokerid没有更改导致的,因为是复制的虚拟机,所以该值还是另一台虚拟机的值,改过之后,启动kafka问题解决。

[root@centos2 logs]# vi meta.properties 
#
#Tue Apr 21 04:30:42 CST 2020
version=0
broker.id=2

zookeeper集群启动失败

按照网上的群起脚本启动集群,用jps查看,发现集群并没有启动成功。但是单个启动是可以成功的,用ssh启动则不成功,脚本内容如下:

#!/bin/bash
for i in centos1 centos2 centos3
do
        echo "================           $i             ================"
        ssh $i '/opt/module/zookeeper/zookeeper-3.4.14/bin/zkServer.sh start'
done

查看zookeeper.out文件,发现如下信息:

nohup: failed to run command ‘java’: No such file or directory

也就是说没有发现java这个命令,但是/etc/profile 文件下已经配好了环境变量。应该不会报错才对,用ssh连接到本机启动zookeeper发现也没有启动成功,看来应该是ssh的问题。我在三台虚拟机上都是用root登陆,所以尝试在/root/.bashrc 文件下添加java环境变量之后,竟然可以启动了,真神奇,不是说/etc/profile中的环境变量是对所有用户生效的吗?这个问题以后再研究好了。切换到root命令的时候加下划线即可,如sudo su -

总结一下:
不管是zk还是kafka启动失败,都先去zookeeper.out中查看一下,根据日志定位是什么类型的问题,该文件默认在当前用户的家目录下。
常见问题如下:
1、zk的logs文件夹下的myid是否唯一,myid是否与zoo.cfg中配置的一致
2、如果用ssh执行命令,/$HOME/.bashrc文件下是否配置java环境变量
3、防火墙是否关闭
当然最重要的还是要学会查看日志定位问题。

  • 3
    点赞
  • 11
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
在信号处理领域,DOA(Direction of Arrival)估计是一项关键技术,主要用于确定多个信号源到达接收阵列的方向。本文将详细探讨三种ESPRIT(Estimation of Signal Parameters via Rotational Invariance Techniques)算法在DOA估计中的实现,以及它们在MATLAB环境中的具体应用。 ESPRIT算法是由Paul Kailath等人于1986年提出的,其核心思想是利用阵列数据的旋转不变性来估计信号源的角度。这种算法相比传统的 MUSIC(Multiple Signal Classification)算法具有较低的计算复杂度,且无需进行特征值分解,因此在实际应用中颇具优势。 1. 普通ESPRIT算法 普通ESPRIT算法分为两个主要步骤:构造等效旋转不变系统和估计角度。通过空间平移(如延时)构建两个子阵列,使得它们之间的关系具有旋转不变性。然后,通过对子阵列数据进行最小二乘拟合,可以得到信号源的角频率估计,进一步转换为DOA估计。 2. 常规ESPRIT算法实现 在描述中提到的`common_esprit_method1.m`和`common_esprit_method2.m`是两种不同的普通ESPRIT算法实现。它们可能在实现细节上略有差异,比如选择子阵列的方式、参数估计的策略等。MATLAB代码通常会包含预处理步骤(如数据归一化)、子阵列构造、旋转不变性矩阵的建立、最小二乘估计等部分。通过运行这两个文件,可以比较它们在估计精度和计算效率上的异同。 3. TLS_ESPRIT算法 TLS(Total Least Squares)ESPRIT是对普通ESPRIT的优化,它考虑了数据噪声的影响,提高了估计的稳健性。在TLS_ESPRIT算法中,不假设数据噪声是高斯白噪声,而是采用总最小二乘准则来拟合数据。这使得算法在噪声环境下表现更优。`TLS_esprit.m`文件应该包含了TLS_ESPRIT算法的完整实现,包括TLS估计的步骤和旋转不变性矩阵的改进处理。 在实际应用中,选择合适的ESPRIT变体取决于系统条件,例如噪声水平、信号质量以及计算资源。通过MATLAB实现,研究者和工程师可以方便地比较不同算法的效果,并根据需要进行调整和优化。同时,这些代码也为教学和学习DOA估计提供了一个直观的平台,有助于深入理解ESPRIT算法的工作原理。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值