kafka
挖矿的小强
我失败过,但我从未放弃过
展开
-
错误[由于kafka.common.LeaderNotAvailableException而导致的主题test-1的分区元数据]
应该是partition下面没数据Kafka使用外部协调框架(默认Zookeeper)来维护配置。看来配置现在与Kafka日志数据不同步。在这种情况下,我会删除受影响的主题数据和相关的Zookeeper数据。测试环境:停止 Kafka-server 和 Zookeeper-server删除这两个服务的数据目录,默认情况下它们是 /tmp/kafka-log原创 2017-10-13 12:20:33 · 1565 阅读 · 0 评论 -
Zookeeper工作原理(详细)
» 领导者(leader),负责进行投票的发起和决议,更新系统状态 » 学习者(learner),包括跟随者(follower)和观察者(observer),follower用于接受客户端请求并想客户端返回结果,在选主过程中参与投票 » Observer可以接受客户端连接,将写请求转发给leader,但observer不参加投票过程,只同步leader的状态,observer的目的是为原创 2017-10-22 20:41:40 · 283 阅读 · 0 评论 -
kafka使用SASL认证
1. JAAS配置Kafka使用Java认证和授权服务(JAAS)进行SASL配置。 为broker配置JAAS KafkaServer是每个KafkaServer/Broker使用JAAS文件中的部分名称。本节为broker提供了SASL配置选项,包括进行broker之间通信所需的任何SASL客户端连接。 客户端部分用于验证与zookeeper的SASL连接。它还允许broke...转载 2018-12-03 09:46:59 · 29263 阅读 · 1 评论 -
读取kafka写入另一个kafka
/** * Created by lmy on 2018/10/10. */public class TEST { public static void main(String[] args) { Properties props = new Properties(); props.put("bootstrap.servers", "host11:...原创 2018-12-14 10:55:19 · 1570 阅读 · 0 评论