kafka
文章平均质量分 64
kafka
雅冰石
DBA
展开
-
开启kafka密码认证
Kafka默认未开启密码认证,可以免密登录,太不安全,因此需要开启密码认证。一 kafka认证方式类型kafka提供了多种安全认证机制,主要分为SSL和SASL大类。其中SASL/PLAIN是基于账号密码的认证方式,比较常用1.1 SSL1.2 SASL1.2.1 SASL/Kerberos1.2.2 SASL/PLAIN1.2.3 SASL/SCRAM二 测试SASL/PLAIN进行身份验证SASL/PLAIN是一种简单的用户名/密码身份..原创 2022-04-02 17:23:01 · 17361 阅读 · 1 评论 -
kafka.common.errors.TimeoutException:Timeout expired while fetching topic metadata
一 问题描述程序日志报错:kafka.common.errors.TimeoutException:Timeout expired while fetching topic metadata该程序也异常停止。其他业务都是正常的,只有这一块儿报错的业务不正常。看了kafka本身的日志,也没有报错。二 出错原因我们之前连kafka,地址配置的是kafka集群的ip及端口,昨天同事改成了zookeeper集群的ip及端口。在此后重启了这个程序,就出现了这个问题。其他业务由于没重启程序,原创 2021-11-22 15:34:00 · 5237 阅读 · 0 评论 -
WARN [Consumer clientId=consumer-1, groupId=console-consumer-55928] 1 partitions have leader brokers
一 问题描述同事反馈我们的三节点kafka集群当其中一台服务器宕机后,业务受到影响,无法生产与消费消息。程序报错:WARN [Consumer clientId=consumer-1, groupId=console-consumer-55928] 1 partitions have leader brokers without a matching listener, including [baidd-0] (org.apache.kafka.clients.NetworkClient)二 故原创 2021-09-28 20:41:57 · 12921 阅读 · 0 评论 -
kafka单实例安装
一 下载jdk下载地址http://www.oracle.com/technetwork/java/javase/downloads/jdk-6u26-download-400750.htmlkafka官网下载地址:http://kafka.apache.org/downloads二 安装2.1 安装jdk安装jdk可参考https://blog.csdn.net/yabingshi_tech/article/details/514980172.2 安装kafkacd /opt原创 2020-12-06 16:51:46 · 345 阅读 · 0 评论 -
搭建kafka集群
一 实验环境2.1 安装jdk可参考https://blog.csdn.net/yabingshi_tech/article/details/514980172.2 安装zookeeper集群可参考https://blog.csdn.net/yabingshi_tech/article/details/1107959272.3 安装kafka集群kafka官网下载地址:http://kafka.apache.org/downloads在三台服务器上执行以下步骤:2.3.1原创 2020-12-07 15:37:26 · 262 阅读 · 0 评论 -
kafka为topic扩分区
#将分区数量调整为3个[root@Centos7-Mode-V8 kafka]# bin/kafka-topics.sh --alter --zookeeper 192.168.144.247:3292,192.168.144.251:3292,192.168.144.253:3292 --topic mubai --partitions 3WARNING: If partitions are increased for a topic that has a key, the partition lo转载 2021-09-23 19:09:23 · 660 阅读 · 0 评论 -
Kafka动态增加Topic的副本
一 需求描述一个分区可以有多个副本,这些副本保存在不同的broker上,可实现kafka高可用。每个分区的副本中都会有一个作为Leader。当一个broker失败时,Leader在这台broker上的分区都会变得不可用,kafka会自动移除Leader,再其他副本中选一个作为新的Leader。假如我们目前kafka集群环境中的topic没有副本,可通过如下方法增加topic的副本二 操作步骤2.1 查看某个topic当前的分区及副本信息[root@Centos7-Mode-V8 kafk转载 2021-09-23 21:28:56 · 2376 阅读 · 0 评论 -
使用kafka connect将文本文件数据导入到kafka
一 实验目的将/opt/a.txt文件内容导入到kafka的test主题里。[root@Centos7-Mode-V7 opt]# cat /opt/a.txthelloworld二 实验步骤2.1 配置connect-file-source.propertiesvi /opt/kafka/config/connect-file-source.properties修改file为要导入的文件,topic为目标topic。示例:name=local-file-source转载 2020-12-30 14:06:56 · 1479 阅读 · 0 评论 -
org.apache.kafka.common.network.InvalidReceiveException: Invalid receive (size = 218762506 larger th
一 问题描述kafka日志有如下报错:二 解决办法① 修改配置文件server.properties,调大socket.request.max.bytes默认是100m,这里将其调整为419430400② 重启kafka原创 2021-08-04 15:35:49 · 8201 阅读 · 1 评论 -
kafka.common.InconsistentClusterIdException: The Cluster ID doesn‘t match stored clusterId Some()
一 问题描述kafka启动失败,报错:[2021-05-10 11:22:43,263] ERROR Fatal error during KafkaServer startup. Prepare to shutdown (kafka.server.KafkaServer)kafka.common.InconsistentClusterIdException: The Cluster ID VLPFfY-WQkWmK7X9_C1aHQ doesn't match stored clusterId原创 2021-05-10 11:42:17 · 3220 阅读 · 0 评论 -
canal无法往kafka同步,报错TimeoutException: Failed to update metadata after 60000 ms
一 问题描述canal往kafka同步报错,数据无法同步。canal instance报错:ERROR com.alibaba.otter.canal.kafka.CanalKafkaProducer - java.util.concurrent.ExecutionException: org.apache.kafka.common.errors.TimeoutException: Failed to update metadata after 60000 mscanal server也有报错:原创 2021-03-23 11:02:48 · 4369 阅读 · 0 评论