kafka提交connect-standalone.properties遇到connection to node -1 could not be established.Broker may not

所用软件版本:

  spark2.3.0

  kafka 1.10

  IDEA2019.1(spark-streaming-kafka-0-8-2.11-2.3.0

在使用kafka监听文件,将数据传输到spark streaming里面进行分析处理,实时输出,用到/config/connect-standalone.properties和connect-file-source.propertiesl两个文件,linux端输入如下命令:

bin/connect-standalone.sh config/connect-standalone.properties config/connect-file-source.properties

然后却弹出:connection to node -1 could not be eatablished. Broker may not be avaliable的错误,l连接不上kafka集群,经过网上查询,发现是connect-standalone.properties里面的"bootstrap.servers="和kafka目录下的/config/server.properties里面的"zookeeper.connect="里面不一致导致。其实connect-standalone.properties和connect-file-source.propertiesl两个文件相当于kafka生产者。不管kafka的消费者和生产者,"bootstarp.servers="一定要和kafaka集群的zookeeper.connect里面的配置要一致,否则连接不上kafka集群。

kafka和zookeeper无非有两种模式:

一:如果你没有Zookeeper,你可以使用kafka自带打包和配置好的Zookeeper。

不用下载zookeeper软件,在kafka目录/config下,server.properties采用默认配置,先启动zookeeper,然后启动kafka:

bin/zookeeper-server-start.sh config/zookeeper.properties
bin/kafka-server-start.sh config/server.properties &

二:有kafka集群和zookeeper集群,先去zookeeper目录下,启动zookeeper:

bin/zkServer.sh 

然后到kafka目录/config下,要配置server.properties,"zookeepe.connect="要和zookeeper集群要一样,然后启动kafka:

bin/kafka-server-start.sh config/server.properties &

 

做好记录,供以后参考!!

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值