kafka专业技能积累
文章平均质量分 64
kafka专业技能积累
雅冰石
DBA
展开
-
开启kafka密码认证
Kafka默认未开启密码认证,可以免密登录,太不安全,因此需要开启密码认证。一 kafka认证方式类型kafka提供了多种安全认证机制,主要分为SSL和SASL大类。其中SASL/PLAIN是基于账号密码的认证方式,比较常用1.1 SSL1.2 SASL1.2.1 SASL/Kerberos1.2.2 SASL/PLAIN1.2.3 SASL/SCRAM二 测试SASL/PLAIN进行身份验证SASL/PLAIN是一种简单的用户名/密码身份..原创 2022-04-02 17:23:01 · 19316 阅读 · 1 评论 -
kafka.common.errors.TimeoutException:Timeout expired while fetching topic metadata
一 问题描述程序日志报错:kafka.common.errors.TimeoutException:Timeout expired while fetching topic metadata该程序也异常停止。其他业务都是正常的,只有这一块儿报错的业务不正常。看了kafka本身的日志,也没有报错。二 出错原因我们之前连kafka,地址配置的是kafka集群的ip及端口,昨天同事改成了zookeeper集群的ip及端口。在此后重启了这个程序,就出现了这个问题。其他业务由于没重启程序,原创 2021-11-22 15:34:00 · 6456 阅读 · 0 评论 -
kafka为topic扩分区
#将分区数量调整为3个[root@Centos7-Mode-V8 kafka]# bin/kafka-topics.sh --alter --zookeeper 192.168.144.247:3292,192.168.144.251:3292,192.168.144.253:3292 --topic mubai --partitions 3WARNING: If partitions are increased for a topic that has a key, the partition lo转载 2021-09-23 19:09:23 · 767 阅读 · 0 评论 -
Kafka动态增加Topic的副本
一 需求描述一个分区可以有多个副本,这些副本保存在不同的broker上,可实现kafka高可用。每个分区的副本中都会有一个作为Leader。当一个broker失败时,Leader在这台broker上的分区都会变得不可用,kafka会自动移除Leader,再其他副本中选一个作为新的Leader。假如我们目前kafka集群环境中的topic没有副本,可通过如下方法增加topic的副本二 操作步骤2.1 查看某个topic当前的分区及副本信息[root@Centos7-Mode-V8 kafk转载 2021-09-23 21:28:56 · 2524 阅读 · 0 评论 -
使用kafka connect将文本文件数据导入到kafka
一 实验目的将/opt/a.txt文件内容导入到kafka的test主题里。[root@Centos7-Mode-V7 opt]# cat /opt/a.txthelloworld二 实验步骤2.1 配置connect-file-source.propertiesvi /opt/kafka/config/connect-file-source.properties修改file为要导入的文件,topic为目标topic。示例:name=local-file-source转载 2020-12-30 14:06:56 · 1693 阅读 · 0 评论
分享