如何在阿里云服务器上配置部署kafka

一、介绍

同样将压缩包通过ssh工具上传到我们的云服务器上,解压即可。
zookeeper的配置是和本地服务器配置是一样的,具体请参考这篇文章CentOS7安装部署kafka和zookeeper,但是不同的是kafka的配置文件的修改。

advertised.listeners:
它和listeners类似,该参数也是用于发布给clients的监听器,
不过该参数主要用于IaaS环境,比如云上的机器通常都配有多块网卡(私网网卡和公网网卡)。
对于这种机器,用户可以设置该参数绑定公网IP供外部clients使用,
然后配置listeners来绑定私网IP供broker间通信使用。
当然不设置该参数也是可以的,只是云上的机器很容易出现clients无法获取数据的问题,
原因就是listeners绑定的是默认网卡,而默认网卡通常都是绑定私网IP的。
在实际使用场景中,对于配有多块网卡的机器而言,这个参数通常都是需要配置的。

二、打开防火墙端口2181、9092

firewall-cmd --zone=public --add-port=2181/tcp --permanent

firewall-cmd --zone=public --add-port=9092/tcp --permanent

#查看已经开放的端口
firewall-cmd --list-ports

三、打开云服务器的端口

进入云服务器管理控制台的安全组规则在这里插入图片描述

四、修改Kafka的配置文件

这个配置文件与我们之前的在本地配置时候的时候有几点不一样,
因为我们的云服务器实例分了公网IP地址和私网IP地址。
(zookeeper的配置还是用公网IPserver.0=116.62.13.104:2888:3888)
在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

日志清理:
在这里插入图片描述

broker.id=0
delete.topic.enable=true
#阿里云内网地址
listeners=PLAINTEXT://172.30.118.68:9092
# aliyun公网地址
advertised.host.name=116.62.13.104
port=9092
log.dirs=/usr/local/kafka_2.11-0.11.0.0/logs
zookeeper.connect=116.62.13.104:2181

如果按照之前的本地虚拟机配置方法则启动会报错链接不上
测试:

在这里插入图片描述

Bug1

当我们在使用springboot项目连接我们云服务器上的kafka时,还有一个问题会导致连接超时而失败。
就是没有配置主机名和ip映射
修改/etc/hosts 文件:

127.0.0.1   iZbp12ir84r56q94ct21d8Z

在这里插入图片描述
发送成功,消费成功
在这里插入图片描述

Bug2

当我们使用springboot连接kafka的时候,报超时错误。
原因是因为:
在application.yml配置文件中我们使用的私网ip进行连接,这样是不行的,报超时错误,
解决方法:
使用公网ip进行连接。
在这里插入图片描述

到此,完成云服务器的kafka配置!

  • 21
    点赞
  • 34
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 8
    评论
要在阿里云上安装Kafka,您可以按照以下步骤进行操作: 1. 首先,确保您已经按照引用中的步骤部署了Docker和Docker Compose,并创建了一个名为"hadoop-network"的网络。 2. 接下来,您需要下载并编辑一个名为"docker-compose.yml"的文件。您可以在引用中找到一个示例文件,将其保存为docker-compose.yml,并根据您的需求进行配置。 3. 打开编辑后的docker-compose.yml文件,在"kafka"服务的环境变量部分填写以下配置信息: - "KAFKA_CFG_ZOOKEEPER_CONNECT=阿里云内网:2181":将"阿里云内网"替换为您的Zookeeper服务所在的地址。 - "KAFKA_CFG_ADVERTISED_LISTENERS=CLIENT://阿里云外网:9092,EXTERNAL://阿里云外网:9093":将"阿里云外网"替换为用于外部访问Kafka阿里云公网IP地址。 4. 在终端中进入存放docker-compose.yml文件的目录,并执行以下命令启动Kafka容器: ``` docker-compose up -d ``` 5. 等待一段时间,Kafka容器将会启动并运行在您的阿里云服务器上。您可以通过阿里云公网IP地址和相应的端口(默认为9092和9093)访问Kafka。 请注意,在进行Kafka安装之前,确保您已经正确安装了Docker和Docker Compose,并且已经按照引用中的步骤进行了前期准备和网络创建。此外,请根据您的实际情况修改配置文件中的相应信息,以确保正确的部署和访问。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* [docker安装kafka](https://blog.csdn.net/qq_39787367/article/details/131262826)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 33.333333333333336%"] - *2* [阿里云使用docker急速部署kafka](https://blog.csdn.net/weixin_43870646/article/details/125906836)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 33.333333333333336%"] - *3* [Docker学习文档,全面介绍Docker技术](https://download.csdn.net/download/Goligory/88280848)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 33.333333333333336%"] [ .reference_list ]
评论 8
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Liu_Shihao

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值