kafka
文章平均质量分 75
一笑而过者也
爱好java,分布式开发
展开
-
kafka分区重分配详解
当集群中的一个节点突然宕机下线时,如果节点上的分区是单副本的,那么这些分区就变得不可用,在节点恢复前,相应的数据也就处于丢失状态;如果节点上的分区是多副本的,那么位于这个节点上的leader副本的角色会转交到集群中的其他follower副本中。总而言之,这个节点上的分区副本都已经处于功能失效状态。kafka并不会将这些失效的副本自动地迁移到集群中剩余的可用broker节点上。如果放任不管则不仅影响整个集群的均衡负载,还会影响整体服务的可用性和可靠性。 当要对集群中的一个节点进行有计划的下线操作时原创 2021-11-28 12:45:57 · 4214 阅读 · 0 评论 -
kafka-configs.sh配置管理
kafka-configs.sh脚本是专门用来对配置进行操作的,这里的操作是指在运行状态下修改原有的配置,如此可以达到动态变更的目的。 kafka-configs.sh脚本使用entity-type参数来指定操作配置的类型,并且使用entity-name参数来指定操作配置的名称。entity-type的释义entity-name的释义主题类型的配置,取值为topics指定主题的名称broker类型的配置,取值为brokers指定brokerId值,即broker中br原创 2021-11-27 10:42:44 · 2755 阅读 · 0 评论 -
kafka-topics.sh脚本详解
通过脚本进行主题的管理,包括:创建主题、查看主题、修改主题、删除主题等操作。内部是靠kafka.admin.TopicCommand接收参数运行。[xuhaixing@xhx151 ~]$ kafka-topics.sh --helpThis tool helps to create, delete, describe, or change a topic.Option Description原创 2021-11-27 10:22:29 · 4608 阅读 · 0 评论 -
kafka消费者停止2天offset元信息丢失
背景:因下游服务还没做好,所以下游服务暂时停机了,上游一直往kafka发送消息,打算下游上线时能直接接上停机前的位置,于是把topic的retention.ms设置成了2周,保证log不过期,过了两天想查看下topic堆积情况(怎么查看可看另一篇文章),结果根据group查不到分区与消费者绑定关系了,offset信息就也不存在了[xuhaixing@xhx151 kafka_2.13-2.7.0]$ kafka-consumer-groups.sh --bootstrap-server http://19原创 2021-11-21 11:51:28 · 2304 阅读 · 0 评论 -
某个broker节点未启动造成无法选举leader
问题描述:topic都是多分区,多副本,broker节点关闭后,由于某些情况,某个节点无法启动,其他节点都启动后,topic或部分分区仍不可用,造成无法选举leader1. 创建topictopic:topic-demo02 3分区,3副本[xuhaixing@xhx151 cluster]$ kafka-topics.sh --zookeeper 192.168.94.151:2181/kafkaCluster --create --topic topic-demo02 --replicatio原创 2021-11-20 16:53:57 · 1095 阅读 · 0 评论 -
kafka生产者实例配置参数
KafkaProducer中有三个参数是必填的:bootstrap.servers: 指定生产者客户端连接kafka集群所需的broker地址列表,格式为host1:port1,host2:port2,可以设置一个或多个。这里并非需要所有的broker地址,因为生产者会从给定的broker里寻找其它的broker。key.serializer和value.serializer:broker接收...原创 2020-03-14 16:42:44 · 4465 阅读 · 0 评论 -
kafka生产者原理分析
生产者客户端整体架构: 整个生产者客户端由两个线程协调运行,这两个线程分别为主线程和Sender线程(发送线程)。在主线程中由KafkaProducer创建消息,然后通过可能的拦截器、序列化器和分区器的作用之后缓存到消息累加器(RecordAccumulator,也称为消息收集器)中。Sender线程负责从RecordAccumulator中获取消息并将其发送到kafka中。 Rec...原创 2020-03-14 16:29:29 · 487 阅读 · 0 评论