kafka
文章平均质量分 93
warybee
有的鱼是永远关不住的,因为它们属于天空
展开
-
Kafka Consumer位移(Offset)提交——解决Consumer重复消费和消息丢失问题
消费者提交位移(offset),是消费者往一个名为`_consumer_offset`的特殊主题发送消息,消息中包含每个分区的位移量。它记录了 Consumer 要消费的下一条消息的位移。**切记是下一条消息的位移**,而不是目前最新消费消息的位移。原创 2021-12-17 10:11:04 · 11110 阅读 · 0 评论 -
Kafka producer拦截器与consumer拦截器(interceptor)
Producer 的Interceptor使得用户在消息发送前以及Producer回调逻辑前有机会对消息做 一些定制化需求,比如修改消息等。Producer允许指定多个Interceptor按照指定顺序作用于一条消 息从而形成一个拦截链(interceptor chain)。原创 2021-12-16 17:49:46 · 2195 阅读 · 0 评论 -
Kafka使用Avro序列化和反序列化
Apache Avro是一种与编程语言无关的序列化格式。提供了一种共享数据文件的方式。Avro 数据通过与语言无关的 schema 来定义。schema 通过 JSON 来描述,数据被序列化成二进制文件或 JSON 文件,不过一般会使用二进制文件。Avro 在读写文件时需要用到 schema,schema 一般会被内嵌在数据文件里。原创 2021-12-16 17:38:53 · 6861 阅读 · 2 评论 -
Kafka Java客户端快速上手——实现消息的发送与读取
1. Producer创建时,会创建一个Sender线程并设置为守护线程。 2. 生产消息时,内部其实是异步流程;生产的消息先经过**拦截器**->**序列化器-**>**分区器,**然后将消 息缓存在缓冲区(该缓冲区也是在Producer创建时创建)。3. 批次发送的条件为:缓冲区数据大小达到batch.size或者linger.ms达到上限,哪个先达到就算 哪个。4. 批次发送后,发往指定分区,然后落盘到broker;如果生产者配置了retrires参数大于0并且失 败原因允许重试,那么客户端内部原创 2021-12-15 22:15:55 · 1853 阅读 · 0 评论 -
Apache kafka快速入门与配置安装
- 日志收集:可以用Kafka可以收集各种服务的Log,通过Kafka以统一接口服务的方式开放 给各种Consumer;- 消息系统:解耦生产者和消费者、缓存消息等;- 用户活动跟踪:Kafka经常被用来记录Web用户或者App用户的各种活动,如浏览网页、搜索、点击 等活动,这些活动信息被各个服务器发布到Kafka的Topic中,然后消费者通过订阅这些Topic来做实时的 监控分析,亦可保存到数据库;- 运营指标:Kafka也经常用来记录运营监控数据。包括收集各种分布式应用的数据,生产各种操作的 集中原创 2021-12-15 16:31:29 · 1160 阅读 · 0 评论