阿里云上kafka的安装和配置

下载kafka的地址:

https://www.apache.org/dyn/closer.cgi?path=/kafka/1.1.0/kafka_2.11-1.1.0.tgz

镜像下载kafka

wget http://mirrors.hust.edu.cn/apache/kafka/1.1.0/kafka_2.11-1.1.0.tgz

然后解压

tar -zxvf kafka_2.11-1.1.0.tgz

进入到kafka目录下:

kafka是基于zookeeper的,但是,kafka是自带zookeeper;然后进入到/bin目录下


启动 


看一下启动情况

 vim nohup.out 

启动kafka

./bin/kafka-server-start.sh config/server.properties 

启动报错:

Java HotSpot(TM) Server VM warning: INFO: os::commit_memory(0xa6e00000, 1073741824, 0) failed; error='Cannot allocate memory' (errno=12)

处理方案:

修改启动文件

修改 kafka-server-start.sh 将export KAFKA_HEAP_OPTS="-Xmx1G -Xms1G"  

改为export KAFKA_HEAP_OPTS="-Xmx256M -Xms128M" 

继续启动报错:

Caused by: java.net.UnknownHostException: iZuf68tztea6l5ccdz7wemZ: iZuf68tztea6l5ccdz7wemZ: Name or service not known

处理方案:

vi /etc/hosts
127.0.0.1 izwz920j4zsv1qvh2kt0efz

izwz920j4zsv1qvh2kt0efz为自己的主机名

然后启动成功

配置外网访问

vim config/server.properties 

# The id of the broker. This must be set to a unique integer for each broker.

broker.id=0

port=9092

host.name=阿里云内网地址

advertised.host.name=阿里云外网映射地址

后台启动kafka

 nohup ./bin/kafka-server-start.sh config/server.properties &


  • 6
    点赞
  • 12
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
要在阿里云安装Kafka,您可以按照以下步骤进行操作: 1. 首先,确保您已经按照引用中的步骤部署了Docker和Docker Compose,并创建了一个名为"hadoop-network"的网络。 2. 接下来,您需要下载并编辑一个名为"docker-compose.yml"的文件。您可以在引用中找到一个示例文件,将其保存为docker-compose.yml,并根据您的需求进行配置。 3. 打开编辑后的docker-compose.yml文件,在"kafka"服务的环境变量部分填写以下配置信息: - "KAFKA_CFG_ZOOKEEPER_CONNECT=阿里云内网:2181":将"阿里云内网"替换为您的Zookeeper服务所在的地址。 - "KAFKA_CFG_ADVERTISED_LISTENERS=CLIENT://阿里云外网:9092,EXTERNAL://阿里云外网:9093":将"阿里云外网"替换为用于外部访问Kafka阿里云公网IP地址。 4. 在终端中进入存放docker-compose.yml文件的目录,并执行以下命令启动Kafka容器: ``` docker-compose up -d ``` 5. 等待一段时间,Kafka容器将会启动并运行在您的阿里云服务器上。您可以通过阿里云公网IP地址和相应的端口(默认为9092和9093)访问Kafka。 请注意,在进行Kafka安装之前,确保您已经正确安装了Docker和Docker Compose,并且已经按照引用中的步骤进行了前期准备和网络创建。此外,请根据您的实际情况修改配置文件中的相应信息,以确保正确的部署和访问。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* [docker安装kafka](https://blog.csdn.net/qq_39787367/article/details/131262826)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 33.333333333333336%"] - *2* [阿里云使用docker急速部署kafka](https://blog.csdn.net/weixin_43870646/article/details/125906836)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 33.333333333333336%"] - *3* [Docker学习文档,全面介绍Docker技术](https://download.csdn.net/download/Goligory/88280848)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 33.333333333333336%"] [ .reference_list ]

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值