ARM_kafka搭建

ARM_KAFKA搭建

一、搭建环境

搭建服务器IP	环境	kafka版本号
20.10.0.xx	CentOS Linux release 7.9.2009 (AltArch)	kafka_2.12-2.20
20.10.0.xx	CentOS Linux release 7.9.2009 (AltArch)	zookeeper_3.7.0

二、搭建步骤

1、使用docker-compose容器管理文件进行一键启动docker环境。

安装路径为：/data/kafka

version: '3.2'
    services:
      zookeeper:
        image: zookeeper
        ports:
          - "2181:2181"
        privileged: true
        volumes:
          - /data/zook/data:/data
          - /data/zook/datalog:/datalog 
          - /etc/localtime:/etc/localtime
        container_name: "zookeeper"
        restart: always
      kafka:
        image: wyh1791/kafka-arm64v8
        container_name: "kafka"
        ports:
          - "9092:9092"
        privileged: true
        environment:
          - TZ=Asia/Shanghai
          - KAFKA_ZOOKEEPER_CONNECT=zookeeper:2181
          - KAFKA_AUTO_CREATE_TOPICS_ENABLE=true
          - KAFKA_ADVERTISED_HOST_NAME=20.10.0.xx
          - KAFKA_ADVERTISED_PORT=9092
          - KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://20.10.0.xx:9092
          - KAFKA_LISTENERS=PLAINTEXT://0.0.0.0:9092
          - KAFKA_HEAP_OPTS=-Xmx16G -Xms16G
          - KAFKA_LOG_RETENTION_HOURS=168
        volumes:
          - /data/kafka/kafka_data:/kafka
          - /var/run/docker.sock:/var/run/docker.sock
          - /etc/localtime:/etc/localtime
        restart: always

2、kafka启动

docker-compose up -d       #默认文件下可以这样启动，如果不是默认文件名 -f指定文件名进行启动

三、测试

搭建部署好后，进行docker容器测试：

1、创建topic

/opt/kafka/bin/kafka-topics.sh --create --bootstrap-server localhost:9092 --replication-factor 1 --partitions 1 --topic test

2、topic列表查询

/opt/kafka/bin/kafka-topics.sh --zookeeper 20.10.0.xx:2181 --list

3、启动kafka生产者

/opt/kafka/bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test

4、启动kafka消费者

/opt/kafka/bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning

总结：上述如果执行无问题，生产者、消费者互通并可消费到说明kafka搭建成功。进行程序连接测试。