Docker-compose搭建Kafka(并开启kafka manage界面)

Docker-compose搭建Kafka

1.目录结构

.
└── docker_kafka
	├── docker-compose.yml
	├── kafka_python.py
    ├── conf
    └── data

2. docker-compose.yml

注意:文件内IP替换成自己本机IP

version: '3.5'
services:
  zookeeper:
    image: wurstmeister/zookeeper
    ports:
      - "2181:2181"
    network_mode: "bridge"
  kafka:
    image: wurstmeister/kafka
    ports:
      - "9092:9092"
    network_mode: "bridge"
    environment:
      KAFKA_ADVERTISED_HOST_NAME: IP
      KAFKA_ZOOKEEPER_CONNECT: IP:2181
      KAFKA_ADVERTISED_PORT: 9092
      KAFKA_LOG_RETENTION_HOURS: 120
      KAFKA_MESSAGE_MAX_BYTES: 10000000
      KAFKA_REPLICA_FETCH_MAX_BYTES: 10000000
      KAFKA_GROUP_MAX_SESSION_TIMEOUT_MS: 60000
      KAFKA_NUM_PARTITIONS: 3
      KAFKA_DELETE_RETENTION_MS: 1000
      KAFKA_ADVERTISED_LISTENERS: PLAINTEXT://IP:9092
    volumes:
      - ./data:/kafka
  kafka-manager:
    image: sheepkiller/kafka-manager
    environment:
      ZK_HOSTS: IP
    ports:
      - "9001:9000"
    network_mode: "bridge"

3.kafka_python.py(python 使用kafka)

a.安装kafka-python第三方包

pip install kafka-python==2.0.2 -i https://pypi.doubanio.com/simple/

b.kafka_python.py

import json
from kafka import KafkaConsumer, TopicPartition
k_topic = 'test'

consumer = KafkaConsumer(k_topic, bootstrap_servers=['IP:9092'],
                         enable_auto_commit=False,
                         auto_offset_reset="earliest",
                         group_id='test')


def get_kafka_left_num(consumer):
    """

    :param consumer: 消费者对象
    :return:
    """

    # 查看kafka堆积剩余量
    partitions = [TopicPartition(k_topic, p) for p in consumer.partitions_for_topic(k_topic)]
    # total
    toff = consumer.end_offsets(partitions)
    toff = [(key.partition, toff[key]) for key in toff.keys()]
    toff.sort()
    print("total offset: {}".format(str(toff)))

    # current
    coff = [(x.partition, consumer.committed(x)) for x in partitions]
    coff.sort()
    print("current offset: {}".format(str(coff)))

    # cal sum and left
    toff_sum = sum([x[1] for x in toff])
    cur_sum = sum([x[1] for x in coff if x[1] is not None])
    left_sum = toff_sum - cur_sum
    print("kafka left: {}".format(left_sum))
    return left_sum


# auto_offset_reset
# 1. 从上一次未消费的位置开始读(则该参数设置为earliest);
# 2. 从当前时刻开始读之后产生的, 之前产生的数据不再消费(则该参数设置为latest)
for message in consumer:
    print(message)
    print(message.topic)
    print(f"receive: \n  key: {json.loads(message.key.decode())},\n  value: {json.loads(message.value.decode())} \n ")
    # 手动commit
    # consumer.commit()
    kafka_left = get_kafka_left_num(consumer)
    if kafka_left == 0:
        break

4. 按照上述创建文件夹和文件

文件目录截图

5.启动服务

# 进入docker_kafka目录下
cd /系统目录/docker_kafka
# 启动服务
docker compose up -d

备注:

a. http://IP:9001/ 进入kafka manager 界面
kafka manager 界面
b.添加kafka
在这里插入图片描述
c.填写名称 和 Zookeeper Host后直接往下面拉 点击Save保存
在这里插入图片描述

  • 3
    点赞
  • 5
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

yqyn

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值