kafka
文章平均质量分 85
桃花键神
商务合作、产品测评、华为OD、软考、毕设,家yeqv111
展开
-
Kafka 副本
follower发生故障后会被临时踢出ISR,待该follower恢复后,follower会读取本地磁盘记录的上次的HW,并将log文件高于HW的部分截取掉(HW之前每个节点都有,故安全),从HW开始向leader进行同步。leader发生故障之后,会从ISR中选出一个新的leader,之后,为保证多个副本之间的数据一致性,其余的follower会先将各自的log文件高于HW的部分截掉,然后从新的leader同步数据。HW:指的是消费者能见到的最大的offset,ISR队列中最小的LEO。原创 2023-02-11 22:02:51 · 39269 阅读 · 1 评论 -
Kafka Broker 工作流程
通过ls命令列出kafka节点内容。原创 2023-02-09 23:22:11 · 40716 阅读 · 1 评论 -
Kafka生产者分区
生产环境中,我们往往需要更加自由的分区需求,我们可以自定义分区器。需求:在上面的根据key分区案例中,我们发现与我们知道的hash分区结果不同。那么我们就实现一个。3.实现步骤:① 定义类,实现Partitioner接口② 重写partition()方法代码实现:/*** 1. 实现接口Partitioner* 2. 实现3个方法:partition,close,configure* 3. 编写partition方法,返回分区号/*** 分区方法。原创 2023-01-15 22:00:06 · 41016 阅读 · 5 评论 -
Kafka生产者——消息发送流程,同步、异步发送API
Kafka的Producer发送消息采用的是异步发送的方式。在消息发送的过程中,涉及到了两个线程:main线程和Sender线程,以及一个线程共享变量:RecordAccumulator。①main线程中创建了一个双端队列RecordAccumulator,将消息发送给RecordAccumulator。②Sender线程不断从RecordAccumulator中拉取消息发送到Kafka broker。原创 2023-01-11 15:46:45 · 43021 阅读 · 3 评论 -
Kafka快速入门
集群规划、集群部署、kafka群起脚本、主题命令、生产者命令、消费者命令原创 2023-01-09 10:06:06 · 40206 阅读 · 23 评论 -
初识Kafka
Kafka是一个分布式的基于发布/订阅模式的消息队列(MessageQueue),主要应用于大数据实时处理领域。消息的发布者不会将消息直接发送给特定的订阅者,而是将发布的消息分为不同的类别,订阅者只接收感兴趣的消息。Kafka是一个开源的分布式事件流平台(Event StreamingPlatform),被数千家公司用于高性能数据管道、流分析、数据集成和关键任务应用。原创 2023-01-07 22:32:32 · 41565 阅读 · 6 评论