KAFKA操作消费组

StarsLiao

已于 2023-02-10 15:33:31 修改

阅读量2.5k

点赞数

文章标签：经验分享

于 2022-04-30 02:25:31 首次发布

本文链接：https://blog.csdn.net/starsliao/article/details/124507608

版权

# 查看堆积
bin/kafka-consumer-groups.sh --bootstrap-server 192.168.131.130:9092 --describe --all-groups
# 查看消费组
bin/kafka-consumer-groups.sh --bootstrap-server 192.168.131.130:9092 --list
# 查看消费组详情
bin/kafka-consumer-groups.sh --bootstrap-server 192.168.131.130:9092 --describe --group group.demo
# 查看消费组当前状态
bin/kafka-consumer-groups.sh --bootstrap-server 192.168.131.130:9092 --describe --group group.demo --state
# 查看消费组成员信息
bin/kafka-consumer-groups.sh --bootstrap-server 192.168.131.130:9092 --describe --group group.demo --members
# 删除消费组
bin/kafka-consumer-groups.sh --bootstrap-server 192.168.131.130:9092 --delete --group group.demo
# 消费位移管理
bin/kafka-consumer-groups.sh --bootstrap-server 192.168.131.130:9092 --group group.demo --all-topics --reset-offsets --to-earliest --execute
# 修改topic的分区数
bin/kafka-topics.sh --bootstrap-server 10.1.139.164:9092 -alter --partitions ${partitions} --topic ${topci}

# 查看topic策略
bin/kafka-configs.sh --bootstrap-server 10.1.230.152:9092 --describe --entity-type topics --entity-name topic-test-gamma-logs

# 修改topic老化时间
bin/kafka-configs.sh --bootstrap-server 10.1.230.152:9092 --entity-type topics --entity-name topic-test-gamma-logs --alter --add-config retention.ms=3000

# 删除topic策略
bin/kafka-configs.sh --bootstrap-server 10.1.230.152:9092 --entity-type topics --entity-name test --alter --delete-config retention.ms

#!/usr/bin/python3

from kafka import KafkaConsumer
from kafka import TopicPartition
import json
import time

consumer = KafkaConsumer('prod-payment',
                         bootstrap_servers=['10.1.139.164:9092'],
                         #auto_offset_reset='',
                         auto_offset_reset='latest',# 消费kafka中最近的数据，如果设置为earliest则消费最早的数据，不管这些数据是否消费
                         enable_auto_commit=True, # 自动提交消费者的offset
                         auto_commit_interval_ms=3000, ## 自动提交消费者offset的时间间隔
                         group_id='CID_alikafka_PROD_CISGROUP',
                         consumer_timeout_ms= 10000, # 如果10秒内kafka中没有可供消费的数据，自动退出
                         client_id='consumer-python3'
                         )

for msg in consumer:
    #print (msg)
    print('topic: ', msg.topic)