python 对存在认证(用户名和密码)的kafka数据进行消费

from kafka import KafkaConsumer
from datetime import datetime, timedelta
from confluent_kafka import Consumer
import time

topic_name = 'apk_with_receivetime'

f_w = open("/data/test/data_dir/consumer_20190312.txt", "w", encoding="utf-8")

consumer = KafkaConsumer(topic_name,
                         group_id='test',
                         # enable_auto_commit=True,
                         # auto_commit_interval_ms=2,
                         sasl_mechanism="PLAIN",
                         security_protocol='SASL_PLAINTEXT',
                         sasl_plain_username="*",
                         sasl_plain_password="*",
                         bootstrap_servers=['*:9202', '*:9202', '*:9202'])

for msg in consumer:
    line = msg.value.decode("utf-8")
    line_ = line.strip().split("|")
    f_w.write(line + "\n")
    # print(msg.value.decode("utf-8"))
f_w.close()
  • 0
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值