大数据-kafaka
脚踏实地,仰望星空
加油,坚持努力。
展开
-
kafka中zookeeper的作用,主要是做什么的?
zookeeper 是 kafka 不可分割的一部分,可见其重要程度,所以我们有必要了解一下 zookeeper 在 kafka 中的具体工作内容。而且,这也是面试时经常问的。zookeeper 存储了一些关于 consumer 和 broker 的信息,那么就从这两方面说明 zookeeper 的作用。1. broker状态zookeeper 记录了所有 broker 的存活状态,broker 会向 zookeeper 发送心跳请求来上报自己的状态。zookeeper 维护了一个正在原创 2021-06-22 23:48:01 · 2213 阅读 · 0 评论 -
手动修改消费偏移量的2种方式
工做中遇到过问题:包括数据Invalid Message和Failed_to_UNcompress等,会形成消费端的iterator损坏,致使消费进程挂掉,须要手动跳过某些数据;命令行Kafka的偏移量有保存在zookeeper和kafka中topic(_consumer_offset)2种方式...原创 2021-06-08 22:05:50 · 559 阅读 · 0 评论 -
kafka消息重复和丢失的场景及解决方案分析
一、生产者阶段重复场景 1、根本原因 2、重试过程 3、可恢复异常说明 二、生产者发送重复解决方案 1、启动kafka的幂等性 2、ack=0,不重试。 三、生产者和broke阶段消息丢失场景 1、ack=0,不重试 2、ack=1,leader crash 3、unclean.leader.election.enable 配置true 四、生产者和broke阶段消息丢失解决方案 1、配置:ack=all / -1,tries > 1,unclean.le原创 2021-06-08 21:56:16 · 289 阅读 · 0 评论 -
Kafka的ack机制
简述kafka的ack机制Kafka的ack机制,指的是producer的消息发送确认机制,这直接影响到Kafka集群的吞吐量和消息可靠性。而吞吐量和可靠性就像硬币的两面,两者不可兼得,只能平衡。ack有3个可选值,分别是1,0,-1。ack=1,简单来说就是,producer只要收到一个分区副本成功写入的通知就认为推送消息成功了。这里有一个地方需要注意,这个副本必须是leader副本。只有leader副本成功写入了,producer才会认为消息发送成功。注意,ack的默认值就是1。这.原创 2021-06-07 21:44:38 · 1871 阅读 · 2 评论 -
kafka之ISR
一:kafka之ISR原创 2021-05-23 00:13:56 · 70 阅读 · 0 评论 -
kafka之LEO、HW更新流程
一:kafka之LEO、HW更新流程原创 2021-05-23 00:13:18 · 240 阅读 · 0 评论 -
kafka之消息格式
一:kafka之消息格式原创 2021-05-23 00:11:27 · 144 阅读 · 0 评论 -
kafka之CopyOnWriteMap
一:kafka之CopyOnWriteMapkafka中每个分区的数据都是读多写少的操作,通过内存可见性提高每个分区读写性能。CopyOnWriteMap实体类:/* * Licensed to the Apache Software Foundation (ASF) under one or more * contributor license agreements. See the NOTICE file distributed with * this work for addit原创 2021-05-16 21:24:52 · 458 阅读 · 1 评论 -
kafka之TCP消息发送之拆包粘包问题
一:kafka之TCP消息发送之拆包粘包问题原创 2021-05-13 14:40:57 · 239 阅读 · 0 评论 -
gradle的安装
一:gradle的安装原创 2021-05-06 23:57:45 · 115 阅读 · 0 评论 -
kafka之心跳检测
一:kafka之心跳检测原创 2021-05-02 00:50:57 · 928 阅读 · 0 评论 -
Linux下单机版kafka环境的搭建
一:Linux下单机版kafka环境的搭建原创 2021-05-01 23:53:33 · 582 阅读 · 0 评论 -
kafka监控工具之kafka-manager的安装
一:kafka监控工具之kafka-manager的安装原创 2021-05-01 23:09:18 · 327 阅读 · 0 评论 -
SpringBoot整合kafka
一:SpringBoot整合kafka原创 2021-04-30 00:13:45 · 372 阅读 · 0 评论 -
kafka之协调者
一:kafka之协调者原创 2021-04-30 00:12:23 · 200 阅读 · 0 评论 -
kafka之消费者
一:kafka之消费者原创 2021-04-30 00:11:23 · 70 阅读 · 0 评论 -
kafka之生产者
一:kafka之生产者原创 2021-04-30 00:10:43 · 227 阅读 · 0 评论 -
kafka之为什么速度这么快
一:kafka之为什么速度这么快原创 2021-04-30 00:10:10 · 63 阅读 · 0 评论 -
kafka源码环境的搭建
一:kafka源码环境的搭建原创 2021-04-30 00:09:31 · 174 阅读 · 0 评论 -
kafka之rebalance
一:kafka之rebalance原创 2021-04-19 23:55:01 · 862 阅读 · 1 评论 -
Linux系统下kafka集群环境的搭建
1:搭建kafka集群环境需要安装JDK、Zookeeper集群环境JDK的安装可以参考https://mp.csdn.net/postedit/84196901这篇博客Zookeeper集群环境的安装可以参考https://mp.csdn.net/postedit/84201320这篇博客,具体的步骤在博客上面有详细的说明2:kafka的安装和配置kafka下载地址:https:...原创 2018-11-18 22:14:39 · 384 阅读 · 0 评论