Kafka
文章平均质量分 83
未来影子
曾先后在百度、理想、快手参与研发工作
后端、大数据、NLP学习者
展开
-
Kafka面试知识点整理
Kafka是一种分布式、高吞吐量的分布式分布订阅消息系统,它可以处理消费者规模的网站中的所有动作流数据,主要应用于大数据实时处理领域。类比来说,kafka是一个邮箱,生产者是发送邮件的人,消费者是接收邮件的人,Kafka是用来存东西的,只不过它提供了一些处理邮件的机制。特点优点:缺点Kafka的使用场景1、消息队列功能:在系统或应用程序之间构建可靠的用于传输实时数据的管道2、数据处理功能:在系统或应用程序之间构建可靠的用于传输实时数据的管道,Kafka架构Kafka的生产者区域分区策略1原创 2022-06-11 16:21:46 · 262 阅读 · 1 评论 -
自定义Interceptor
自定义Interceptor文章目录一、拦截器原理二、拦截器案例1)需求:2)分析:3)代码编写4)测试5)结果如下:一、拦截器原理 Producer 拦截器(interceptor)是在 Kafka 0.10 版本被引入的,主要用于实现 clients 端的定制化控制逻辑。 对于 producer 而言,interceptor 使得用户在消息发送前以及 producer 回调逻辑前有机会对消息做一些定制化需求,比如修改消息等。同时,producer 允许用户指定多个 interceptor按序作用原创 2022-01-28 23:14:49 · 349 阅读 · 0 评论 -
Consumer API
Consumer API Consumer消费数据时的可靠性是很容易保证的,因为数据在Kafka中是持久化,故不用担心数据丢失问题。 由于Consumer在消费过程中可能会出现断电宕机等故障,consumer恢复后,需要从故障前的位置继续消费,所以consumer需要实时记录自己消费到了哪个offset,以便故障恢复后继续消费。 所以offset的维护是Consumer消费数据是必须考虑的问题需要用到的类:KafkaConsumer:需要创建一个消费者对象,用来消费数据Consum原创 2022-01-28 22:20:36 · 1121 阅读 · 0 评论 -
Producer API
Producer API文章目录一.消息发送流程二.异步发送API1.1.不带回调函数的API1.2在集群上启动消费者2.1带回调函数的API三、同步发送API一.消息发送流程 Kafka的Producer发送消息采用的是异步发送的方式。在消息发送的过程中,涉及到两个线程——main和Sender线程,以及一个线程共享变量——RecordAccumulator,main线程将消息发送给RecordAccumulator,Sendoer线程不断从RecordAccumulator中拉取消息发送到K原创 2022-01-28 22:19:29 · 893 阅读 · 0 评论 -
Kafka基本内容
文章目录一、Kafka工作流程及文件储存机制1.工作流程:2.文件存储机制二、Kafka生产者1.分区策略2.数据可靠性保证1)副本数据同步策略2)ISR3)ack应答机制4)故障处理细节3.Exactly Once语义三、Kafka消费者1.消费方式2.分区分配策略3.offset的维护四、Kafka高效读写数据1)顺序读写磁盘2)零复制技术五、Zookeeper在Kafka中的作用六、Kafka事务1.Producer事务2.Consumer事务一、Kafka工作流程及文件储存机制1.工作流程:原创 2022-01-27 22:52:56 · 135 阅读 · 0 评论