kafka
炼丹师666
要学神仙,驾鹤飞天,点石成金,妙不可言!
展开
-
Kafka中消费者方式--zookeeper和--bootstrap
1)由于consumer在消费过程中可能会出现断点宕机等故障,consumer恢复后,需要从故障前的位置继续消费,所以consumer需要实时记录自己消费到了那个offset,以便故障恢复后继续消费。2)在之后版本,消费者消费的offset信息会从zookeeper改到到本地Kafka集群。So–zookeeper 和 --bootstrap是对消费者offset存储位置的一个选择,目前建议使用–bootstrap。消费者同时使用ZK和bootstrap方式消费测试:https://w.原创 2021-08-16 17:04:07 · 792 阅读 · 0 评论 -
kafka报错:Topic and partition to exceptions: realdeal-0
相关报错:Topic and partition to exceptions: realdeal-0 -> org.apache.kafka.common.errors.RecordTooLargeException2020-09-18 17:10:12,312 WARN org.apache.kafka.common.network.Selector: [SocketServer brokerId=437] Unexpected error from /172.17.; closing conn原创 2020-09-23 15:12:42 · 670 阅读 · 0 评论 -
Kafka架构原理详解
架构Kafka 存储的消息来自任意多被称为 Producer 生产者的进程。数据从而可以被发布到不同的 Topic 主题下的不同 Partition 分区。在一个分区内,这些消息被索引并连同时间戳存储在一起。其它被称为 Consumer 消费者的进程可以从分区订阅消息。Kafka 运行在一个由一台或多台服务器组成的集群上,并且分区可以跨集群结点分布。下面给出 Kafka 一些重要概念,让大家对 Kafka 有个整体的认识和感知,后面还会详细的解析每一个概念的作用以及更深入的原理:Producer原创 2020-09-22 10:39:44 · 595 阅读 · 0 评论 -
kafka使用命令
0903 sw创建topickafka-topics --create --zookeeper 172.17.132.229:2181,172.17.132.230:2181,172.17.132.231:2181 --replication-factor 2 --partitions 3 --topic kt-nfi-creditfee-sh-dsg原创 2020-09-22 10:30:36 · 133 阅读 · 0 评论