filebeat发送至阿里云服务器上的kafka失败 问题原因寻找及解决

错误现象

前提

  1. filebeat中配置的kafka地址确认是正确的阿里云服务器外网地址和正确的端口号9092,且该端口开启,可以通过telnet连接。
  2. 服务器上的kafka已开启,且在相应的topic上开启了消费者进行监控。

现象

开启filebeat后,在服务器上的消费者未收到任何消息。
filebeat的日志大多是:

2020-12-02T19:16:44.589+0800    INFO    [publisher]     pipeline/retry.go:219   retryer: send unwait signal to consumer
2020-12-02T19:16:44.590+0800    INFO    [publisher]     pipeline/retry.go:223     done
2020-12-02T19:16:44.590+0800    INFO    [publisher]     pipeline/retry.go:213   retryer: send wait signal to consumer
2020-12-02T19:16:44.590+0800    INFO    [publisher]     pipeline/retry.go:217     done
2020-12-02T19:16:44.590+0800    INFO    [publisher]     pipeline/retry.go:219   retryer: send unwait signal to consumer
2020-12-02T19:16:44.591+0800    INFO    [publisher]     pipeline/retry.go:223     done
2020-12-02T19:16:53.325+0800 
  • 1
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 3
    评论
以下是在阿里云服务器上搭建Hadoop、Kafka、JDK环境的步骤: 1. 安装JDK 在阿里云服务器上下载JDK安装包,解压后配置环境变量。可以使用以下命令检查JDK是否安装成功: ``` java -version ``` 2. 安装Hadoop 在阿里云服务器上下载Hadoop安装包,解压后配置环境变量。配置Hadoop的环境变量需要在.bashrc文件中添加以下内容: ``` export HADOOP_HOME=/path/to/hadoop export PATH=$PATH:$HADOOP_HOME/bin ``` 然后使用以下命令检查Hadoop是否安装成功: ``` hadoop version ``` 3. 安装Kafka阿里云服务器上下载Kafka安装包,解压后配置环境变量。配置Kafka的环境变量需要在.bashrc文件中添加以下内容: ``` export KAFKA_HOME=/path/to/kafka export PATH=$PATH:$KAFKA_HOME/bin ``` 然后使用以下命令检查Kafka是否安装成功: ``` kafka-topics.sh --list --zookeeper localhost:2181 ``` 4. 配置Hadoop和Kafka 在Hadoop的配置文件中,需要添加Kafka的jar包路径到Hadoop的CLASSPATH中。可以使用以下命令将Kafka的jar包添加到CLASSPATH中: ``` export HADOOP_CLASSPATH=$HADOOP_CLASSPATH:/path/to/kafka/libs/kafka-clients-2.8.0.jar:/path/to/kafka/libs/kafka_2.13-2.8.0.jar ``` 在Kafka的配置文件中,需要添加Hadoop的jar包路径到Kafka的CLASSPATH中。可以使用以下命令将Hadoop的jar包添加到CLASSPATH中: ``` export CLASSPATH=$CLASSPATH:/path/to/hadoop/share/hadoop/common/hadoop-common-3.3.1.jar:/path/to/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-client-core-3.3.1.jar ``` 5. 启动Hadoop和Kafka 使用以下命令启动Hadoop: ``` start-dfs.sh start-yarn.sh ``` 使用以下命令启动Kafka: ``` zookeeper-server-start.sh -daemon /path/to/kafka/config/zookeeper.properties kafka-server-start.sh -daemon /path/to/kafka/config/server.properties ``` 现在,您已经在阿里云服务器上成功搭建了Hadoop、Kafka和JDK环境。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 3
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值