如何在阿里云服务器上配置部署kafka

一、介绍

同样将压缩包通过ssh工具上传到我们的云服务器上,解压即可。
zookeeper的配置是和本地服务器配置是一样的,具体请参考这篇文章CentOS7安装部署kafka和zookeeper,但是不同的是kafka的配置文件的修改。

advertised.listeners:
它和listeners类似,该参数也是用于发布给clients的监听器,
不过该参数主要用于IaaS环境,比如云上的机器通常都配有多块网卡(私网网卡和公网网卡)。
对于这种机器,用户可以设置该参数绑定公网IP供外部clients使用,
然后配置listeners来绑定私网IP供broker间通信使用。
当然不设置该参数也是可以的,只是云上的机器很容易出现clients无法获取数据的问题,
原因就是listeners绑定的是默认网卡,而默认网卡通常都是绑定私网IP的。
在实际使用场景中,对于配有多块网卡的机器而言,这个参数通常都是需要配置的。

二、打开防火墙端口2181、9092

firewall-cmd --zone=public --add-port=2181/tcp --permanent

firewall-cmd --zone=public --add-port=9092/tcp --permanent

#查看已经开放的端口
firewall-cmd --list-ports

三、打开云服务器的端口

进入云服务器管理控制台的安全组规则在这里插入图片描述

四、修改Kafka的配置文件

这个配置文件与我们之前的在本地配置时候的时候有几点不一样,
因为我们的云服务器实例分了公网IP地址和私网IP地址。
(zookeeper的配置还是用公网IPserver.0=116.62.13.104:2888:3888)
在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

日志清理:
在这里插入图片描述

broker.id=0
delete.topic.enable=true
#阿里云内网地址
listeners=PLAINTEXT://172.30.118.68:9092
# aliyun公网地址
advertised.host.name=116.62.13.104
port=9092
log.dirs=/usr/local/kafka_2.11-0.11.0.0/logs
zookeeper.connect=116.62.13.104:2181

如果按照之前的本地虚拟机配置方法则启动会报错链接不上
测试:

在这里插入图片描述

Bug1

当我们在使用springboot项目连接我们云服务器上的kafka时,还有一个问题会导致连接超时而失败。
就是没有配置主机名和ip映射
修改/etc/hosts 文件:

127.0.0.1   iZbp12ir84r56q94ct21d8Z

在这里插入图片描述
发送成功,消费成功
在这里插入图片描述

Bug2

当我们使用springboot连接kafka的时候,报超时错误。
原因是因为:
在application.yml配置文件中我们使用的私网ip进行连接,这样是不行的,报超时错误,
解决方法:
使用公网ip进行连接。
在这里插入图片描述

到此,完成云服务器的kafka配置!

  • 21
    点赞
  • 34
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 8
    评论
以下是在阿里云服务器上搭建Hadoop、Kafka、JDK环境的步骤: 1. 安装JDK 在阿里云服务器上下载JDK安装包,解压后配置环境变量。可以使用以下命令检查JDK是否安装成功: ``` java -version ``` 2. 安装Hadoop 在阿里云服务器上下载Hadoop安装包,解压后配置环境变量。配置Hadoop的环境变量需要在.bashrc文件中添加以下内容: ``` export HADOOP_HOME=/path/to/hadoop export PATH=$PATH:$HADOOP_HOME/bin ``` 然后使用以下命令检查Hadoop是否安装成功: ``` hadoop version ``` 3. 安装Kafka阿里云服务器上下载Kafka安装包,解压后配置环境变量。配置Kafka的环境变量需要在.bashrc文件中添加以下内容: ``` export KAFKA_HOME=/path/to/kafka export PATH=$PATH:$KAFKA_HOME/bin ``` 然后使用以下命令检查Kafka是否安装成功: ``` kafka-topics.sh --list --zookeeper localhost:2181 ``` 4. 配置Hadoop和Kafka 在Hadoop的配置文件中,需要添加Kafka的jar包路径到Hadoop的CLASSPATH中。可以使用以下命令将Kafka的jar包添加到CLASSPATH中: ``` export HADOOP_CLASSPATH=$HADOOP_CLASSPATH:/path/to/kafka/libs/kafka-clients-2.8.0.jar:/path/to/kafka/libs/kafka_2.13-2.8.0.jar ``` 在Kafka配置文件中,需要添加Hadoop的jar包路径到Kafka的CLASSPATH中。可以使用以下命令将Hadoop的jar包添加到CLASSPATH中: ``` export CLASSPATH=$CLASSPATH:/path/to/hadoop/share/hadoop/common/hadoop-common-3.3.1.jar:/path/to/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-client-core-3.3.1.jar ``` 5. 启动Hadoop和Kafka 使用以下命令启动Hadoop: ``` start-dfs.sh start-yarn.sh ``` 使用以下命令启动Kafka: ``` zookeeper-server-start.sh -daemon /path/to/kafka/config/zookeeper.properties kafka-server-start.sh -daemon /path/to/kafka/config/server.properties ``` 现在,您已经在阿里云服务器上成功搭建了Hadoop、Kafka和JDK环境。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 8
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Liu_Shihao

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值