kafka基础入门（四）

最新推荐文章于 2024-01-17 14:41:06 发布
最新推荐文章于 2024-01-17 14:41:06 发布
阅读量226 收藏
点赞数
分类专栏： Kafka 文章标签： kafka 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43990804/article/details/119851499
版权

目录

本文相关代码见本人github：https://github.com/localhost6379/KafkaDemo

四. KafKa API

4.1 producer API

4.1.1 消息发送流程

  • kfk的consumer发送消息是异步发送的, 一个main线程, 调用send()方法时启动一个sender线程发送
    消息. 所以并不是发送一批消息等待ack后发送下一批消息. 有另外的线程接收ack, 如果ack没接收到
    就重发.
  • 消息发送过程中涉及到两个线程和一个线程共享变量(行数计数器/累加器), 这个共享变量中放的就
    是待发送的数据.

在这里插入图片描述

  • 注意上述顺序: send() -> 拦截器 -> 序列化器 -> 分区器. 我们将会自定义拦截器和分区器.

4.1.2 普通生产者

  • 发送数据没有回调: cn.king.kfk01.producer.AProducer
  • 发送数据有回调: cn.king.kfk01.producer.BProducer

4.1.3 API指定生产者的分区分配策略

  • 发送数据指定分区: cn.king.kfk01.producer.CProducer

4.1.4 自定义分区器

  • 自定义分区器: cn.king.kfk01.partitioner.MyPartitioner
  • 使用自定义分区器的生产者: cn.king.kfk01.producer.DProducer

4.1.5 同步发送消息的API

  • 如果在调用send()方法时将main线程阻塞, 那么这就相当于是同步发送消息了.
  • 原理是用到了Future类的get()方法.
  • 同步发送了解即可. 在此不写demo.
  • 注意
    • 如果想保证全局消息有序, 光靠发送到同一个partition(分区)是不够的. 因为如果往partition-a发送 1 2 3 消息, 由于是异步发送, 那么无论partition-a是否收到消息, 都会立即发送 4 5 6 到partition-a中, 如果partition-a没收到 1 2 3, 那么生产者将消息 1 2 3重试发送到partition-a. 此时 1 2 3 消息在 4 5 6 消息之后.
    • 所以说如果想用kfk实现消息全局有序, 必须 往同一个partition发消息 + 同步发消息.

4.1.6 异步发送消息的API

  • 除了4.1.5 中介绍的, 其余全是异步发送. kfk默认就是异步发消息.

4.2 consumer API

kfk consumer有低级api和高级api.

  • 高级api只需要引入
<!--高级api. 版本尽量和kfk版本一致. 如果只使用高级api, 只需要引入这个依赖即可-->
<dependency>
    <groupId>org.apache.kafka</groupId>
    <artifactId>kafka-clients</artifactId>
    <version>0.11.0.0</version>
</dependency>
  • 低级api需要引入
<!--版本尽量和kfk版本一致. 如果只使用高级api, 只需要引入这个依赖即可-->
<dependency>
    <groupId>org.apache.kafka</groupId>
    <artifactId>kafka-clients</artifactId>
    <version>0.11.0.0</version>
</dependency>
<!--版本尽量和kfk版本一致-->
<dependency>
    <groupId>org.apache.kafka</groupId>
    <artifactId>kafka_2.12</artifactId>
    <version>0.11.0.0</version>
</dependency>
  • 高级API
    • 优点
      • 书写简单.
      • 不需要自行管理offset, 系统通过zk自行管理.
      • 不需要管理分区, 副本等情况, 系统自动管理.
      • 消费者断线会自动根据上一次记录在zk中的offset去接着获取数据. (默认设置1分钟更新一下zookeeper中存的offset)
      • 可以使用group来区分对同一个topic 的不同程序访问分离开来. (不同的group记录不同的offset，这样不同程序读取同一个topic才不会因为offset互相影响)
    • 缺点
      • 不能自行控制offset. (对于某些特殊需求来说)
      • 不能细化控制如分区、副本、zk等.
  • 低级API
    • 优点
      • 能够让开发者自己控制offset, 想从哪里读取就从哪里读取.
      • 自行控制连接分区, 对分区自定义进行负载均衡.
      • 对zk的依赖性降低. (如: offset不一定非要靠zk存储, 自行存储offset即可, 比如存在文件或者内存中)
    • 缺点
      • 太过复杂. 需要自行控制offset, 连接哪个分区, 找到分区leader 等.
  • 本文代码全部使用高级API. 详见我的github: https://github.com/localhost6379/KafkaDemo

4.2.1 普通消费者

  • cn.king.kfk01.consumer.AConsumer

4.2.2 重置offset

即API实现控制台的 --first-beginning 的效果.

  • 在 org.apache.kafka.clients.consumer.ConsumerConfig 类中有一个成员变量 public static final String AUTO_OFFSET_RESET_CONFIG = "auto.offset.reset"; 这个配置项并不是写上就会生效的. 必须在两个特定场景参会生效:

    • 当前消费者组第一次消费. (消费者换了个组, 即换了个组名, 这种情况下会生效)
    • 没换组名. 消费者组消费过数据, 但是消费的这个offset在集群中已经不存在了. (最常见的情况就是默认过了7天后数据已经被删除了)

  • 这个属性有两个值可以选择: earliest(最早的) 和 latest(最新的. 默认). 即从头开始消费还是从最大的开始消费.

    properties.put(ConsumerConfig.AUTO_OFFSET_RESET_CONFIG, "earliest");

  • 最早的偏移量不一定是0, 因为如果偏移量是0-1000并且7天之后数据删掉了, 那么最早的偏移量将会是1001.

  • 面试题: 如何重新消费某一个主题的数据? 答案: 换一个组, 同时将 auto.offset.reset 参数值设置为earliest.

4.2.3 自动提交offset

// 开启自动提交offset
properties.put(ConsumerConfig.ENABLE_AUTO_COMMIT_CONFIG, true);

enable.auto.commit: 是否开启自动提交offset功能. 
auto.commit.interval.ms: 自动提交offset的时间间隔.

4.2.4 手动提交offset

// 开启手动提交offset. cn.king.kfk01.consumer.AConsumer中有体现. 
properties.put(ConsumerConfig.ENABLE_AUTO_COMMIT_CONFIG, false);
// 自动提交的延迟. 1秒. 配置了手动提交之后, 自动提交的延迟这条配置就没有用了, 就算写了也不生效.
properties.put(ConsumerConfig.AUTO_COMMIT_INTERVAL_MS_CONFIG,"1000");

  • 按理说如果consumer消费了90-100条数据, 如果不配置自动提交, 那么consumer不会将最新的offset(也就是100)写入kfk, 下次再消费也会从90开始消费, 消费的还是第90-100条数据.

  • 但是实际上, consumer内存中维护了一份offset, 即便是没有将offset提交到kfk, 那么consumer再次消费数据的时候, 会先去消费者内存中获取最新消费的offset. 即下次消费会从101开始消费. 但是offset始终没有写入到kfk, 那么kill掉消费者重启, 还是会从第90条消息开始消费.

  • 可见保存在kfk或者zk的offset只会在consumer启动的时候访问一次, consumer启动后访问的是consumer内存中维护的offset.

  • 自动提交offset的缺点

    • 自动提交是基于时间提交的(例如配置1s), 开发人员难以把握offset提交的时机. 因此可以使用手动提交offset; 例如配置了自动提交时间是1s, producer生产100条数据, consumer在没消费完100条数据之前就挂了, 此时offset提交了, 那么consumer重启之后offset=100开始消费, 这就产生了consumer丢数据. 所以自动提交不好, 推荐使用手动提交offset.

  • consumer手动提交offset有两种方式: 同步提交(commitSync) 异步提交(commitAsync)

    • 两者相同点: 都会将本次poll的一批数据的最高偏移量提交;
    • 两者不同点: commitSync阻塞当前线程, 一直到提交成功, 并且会自动失败重试(由不可控因素导致, 也会出现提交失败);
      commitAsync没有失败重试机制, 因此有可能提交失败.
    • 同步提交有失败重试机制, 因此更加可靠, 但是由于她会阻塞线程, 直到提交成功, 因此吞吐量会受到很大影响. 因此更多的情况下会选用异步提交offset的方式.
    • 同步提交: cn.king.kfk01.consumer.BConsumer
    • 异步提交: cn.king.kfk01.consumer.CConsumer

  • 无论是同步提交还是异步提交, 都可能出现数据漏消费或重复消费的问题.

    • 自动提交缺点

      • 如果设置的延迟时间过短会容易丢失数据. 上述已说明原因.
      • 如果设置的延迟时间过长会产生重复消费问题. 例如发送100条msg, 设置自动提交延迟为10s, 假设消费者5秒处理完了100条msg并且第6秒的时候消费者挂了, 那么等到10s的时候消费者才会提交offset, 那么第6秒时消费者还没提交offset, 那么重启消费者后, 因为offset还未提交, kfk中的offset还是消费这100条msg之前的offset, 那么从这100条mag之前开始消费, 这就是重复消费了.

    • 手动提交时, 使用异步提交也可能出现重复消费. cn.king.kfk01.consumer.CConsumer中的代码, 如果在调用commitAsync()方法时挂了, 那么offset没提交, 就会出现重复消费.

    • 由于无论是手动提交还是自动提交都可能出现重复消费, 所以kfk提供了一个自定义存储offset功能.

4.2.5 自定义存储offset

  • 提交offset提交到了kfk或者zk. 自定义存储offset的意思是我们可以将offset维护在mysql或者本地文件等地方.
  • 最好是将offset存储到mysql, 这样我们可以将 消息消费成功 和 offset提交成功 搞一个事务.
  • offset的维护是很麻烦的, 因为涉及到 consumer的Rebalance(再平衡).
    • 当有新的consumer加入consumer group 或者 已有的consumer退出consumer group 或者 订阅的topic的partition发生变化, 就会触发partition的重新分配， 重新分配的过程叫做Rebalance.
    • consumer发生Rebalance之后, 每个consumer消费的partition就会发生变化. 因此consumer首先要获取到自己被重新分配到的partition, 并且定位到每个分区最近提交的offset位置继续消费.
    • 例如三个分区ABC的offset分别被3个consumer维护着, 每个分区的offset都写到mysql中, 如果维护A分区offset的消费者挂了, 那么就需要将A分区维护的offset交给B分区或者C分区维护. 这就叫再平衡.
  • 要实现自定义存储offset, 需要使用的类是 ConsumerRebalanceListener.
  • 如果要将offset存储到mysql, 那么这张表的列必须包含: consumer_group topic partition offset.
  • 希望consumer完全不丢失数据的时候需要使用自定义存储offset, 就是将消息的消费和偏移量的存储做一个事务.
  • 示例代码: cn.king.kfk01.consumer.DConsumer

4.3 自定义Interceptor

4.3.1 拦截器原理

  • 作用: msg发送前做一些定制化的需求, 比如修改msg等.
  • 一个producer可以指定多个拦截器形成一条拦截器链作用同一条消息.
  • 需要实现的接口: org.apache.kafka.clients.producer.ProducerInterceptor.
  • 拦截器是 kfk0.10 才有的.
  • 条消息都会经过一次拦截器链.
  • 拦截器中方法如下:
// 读取配置信息
public void configure(Map<String, ?> configs);
// 最核心的方法. 传进来一条生产者要发送的数据.
public ProducerRecord<K, V> onSend(ProducerRecord<K, V> record);
// 拦截器中也能收到ack. 即能判断消息发送是否成功.
// 如果metadata不为null, 说明发送成功
// 如果exception不为null, 说明发送失败
public void onAcknowledgement(RecordMetadata metadata, Exception exception);
// 
public void close();

4.3.2 拦截器案例

  • cn.king.kfk01.interceptor.AInterceptor: 在发送的消息前面加上时间戳.
  • cn.king.kfk01.interceptor.BInterceptor: 消息发送成功后会更新发送成功的消息数 或 发送失败的消息数.
  • cn.king.kfk01.producer.EProducer: 带拦截器的生产者.

五. KafKa监控

5.1 介绍

5.2 安装

5.3 使用

六. Flume对接Kafka

七. KafKa Streams

八. KafKa面试题

localhost65535
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Kafka 入门基础篇.pptx
03-05
Kafka 入门基础篇.pptx
Kafka入门、介绍、使用及部署
06-30
介绍Kafka的优缺点、使用场景、设计原理、集群安装部署。
kafka基础入门（二）
localhost65535的博客
08-22 211
目录三. kfk架构深入3.1 kfk工作流程3.2 kfk文件存储机制3.3 kfk的生产者3.3.1 topic分区的原因3.3.2 生产者的分区策略3.3.3 生产者发送数据的可靠性3.3.4 数据一致性问题3.3.5 Exactly Once 语义 三. kfk架构深入 3.1 kfk工作流程 上面每个分区中的数字代表消息的偏移量(offset), 所有的分区没有全局的偏移量, 每个分区维护以及的消息偏移量; kfk0.9开始消费者中存储offset, kfk0.9之前zk中存储offset;
Kafka集群间同步数据方案-Flume
Learning_xzj的博客
10-24 3002
Apache Flume 是一个分布式、高可靠、高可用的用来收集、聚合、转移不同来源的大量日志数据到中央数据仓库的工具。
Kafka之auto.offset.reset值解析
Romantic_lei的博客
08-30 3316
springboot kafka auto.offset.reset
第四章 Kafka-事务相关
qq_37225926的博客
09-24 762
一、Offset自动控制 Kafka消费者默认对于未订阅的topic的offset的时候，也就是系统并没有存储该消费者的消费分区的记录信息，默认Kafka消费者的默认首次消费策略：latest（最新） auto.offset.reset=latest 自动偏移量的重置 erliest - 自动将偏移量重置为最早的偏移量 latest - 自动将偏移量重置为最新的偏移量 none - 如果未找到消费者组的先前偏移量，则向消费者抛出异常 latest: package co
kafka的auto.offset.reset详解与测试
热门推荐
Huangjiazhen711的博客
09-17 1万+
就是说如果这个topic有历史消息，现在新启动了一个消费者组，且auto.offset.reset=latest，此时已存在的历史消息无法消费到，那保持消费者组运行，如果此时topic有新消息进来了，这时新消息才会被消费到。而一旦有消费，则必然会提交offset。一运行发现已有的10条消息（最开始5条加上面一次测试又发了5条，一共10条）是可以被消费到的，且消费完后，对于这个topic就已经有了group2这个组的offset了，无论之后启停，只要groupid不变，都会从最新的offset往后开始消费。
Kafka中auto.offset.reset配置项参数为earliest/或者latest的区别
weixin_44874132的博客
06-06 5039
auto.offset.reset配置项参数的作用 //消费组id props.put(ConsumerConfig.GROUP_ID_CONFIG,groupId); props.put(ConsumerConfig.AUTO_OFFSET_RESET_CONFIG, "earliest");//latest,earliest props.put(ConsumerConfig.ENABLE_AUTO_COMMIT_CONFIG,false); 在auto.offset.reset标志位为
大数据面试重点之kafka（三）
m0_46914845的博客
10-15 2819
大数据面试重点之kafka（三）
kafka入门视频zzzz
09-07
1.kafka的初认识 2.Kafka 基础实战 ：消费者和生产者实例 3.Kafka 核心源码剖析 4.Kafka 用户日志上报实时统计
Kafka基础培训PPT
02-15
Kafka基础教学，对于初学者来说，可以让你了解Kafka基础知识，里面有很详细的教学内容，手把手教你入门，入门教学篇
大数据Kafka入门--理论+实践
05-04
本详细介绍了Kafka基础理论和实践的相关代码，实践步骤，为零基础的想入门大数据行业的人提供了学习相关资料
kafka重新消费
qq1010234991的博客
01-09 1395
kafka重新消费的两种方式 低级API AUTO_OFFSET_RESET_CONFIG 方式一：低级API public class MylowerConsumer { public static void main(String[] args) { //1.brokers节点 ArrayList&lt;String&gt; list = new A...
【Spring Boot 使用记录】kafka自动配置和自定义配置
idwtwt的专栏
12-21 3900
1 自动配置 自动配置实现在 org.springframework.boot.autoconfigure.kafka.KafkaAutoConfiguration 配置类为: @ConfigurationProperties(prefix = "spring.kafka") public class KafkaProperties { ...... } 所以使用spring boot 默认的自动配置，kafka的配置都已spring.kafka开头，如： #kafka默认消费者配置 sp
SpringBoot整合kafka
li-zhang-yu的博客
04-30 381
一：SpringBoot整合kafka
kafka基础入门（一）
localhost65535的博客
08-22 1382
目录一. KafKa概述1.1 什么是kfk1.2 消息队列的两种模式1.3 kfk的架构二. kfk入门2.1 安装部署kfk2.2 kfk的命令行操作2.2.1 命令行操作topic2.2.2 命令行测试生产者消费者2.2.3 kafka-topics.sh --describe 显示结果解释2.2.4 kfk常用命令2.3 kfk的日志和数据分目录存放三. kfk架构深入 一. KafKa概述 1.1 什么是kfk kfk是一个分布式的基于发布订阅模式的消息队列. 主要应用于大数据实时处理领域. 1.
kafka的知识总结
huangyinzhao的博客
05-08 238
1、kafka是什么 类JMS消息队列，结合JMS中的两种模式，可以有多个消费者主动拉取数据，在JMS中只有点对点模式才有消费者主动拉取数据。 kafka是一个生产-消费模型。  》Producer：生产者，只负责数据生产，生产者的代码可以集成到任务系统中。 数据的分发策略由producer决定，默认是defaultPartition  Utils.abs(key.hashCode) % numP...
Kafka-消费者-KafkaConsumer分析
最新发布
andy的博客
01-17 623
其中一个线程池中每个线程拥有一个KafkaConsumer对象，负责从Kafka集群拉取消息，然后将消息放入队列中缓存，而另一个线程池中的线程负责从队列中获取消息，执行处理消息的业务逻辑。这种设计将实现多线程处理消息的逻辑转移到了调用KafkaConsumer的代码中，可以根据业务逻辑使用不同的实现方式。例如，可以使用“线程封闭”的方式，每个业务线程拥有一个KafkaConsumer对象，这种方式实现简单、快速。为了便于分析，我们认为下面介绍的所有操作都是在同一线程中完成的，所以不需要考虑锁的问题。
kafka的zookeeper.connect参数带路径
localhost65535的博客
04-24 5940
常见的kafka配置文件server.properties的zookeeper连接配置 zookeeper.connect=hostname1:2181,hostname2:2181,hostname2:2181 log.dirs=/data01/kafka/log,/data02/kafka/log,/data03/kafka/log 有时可能会看到类似下面的配置 zookeeper.connect=hostname1:2181,hostname2:2181/kafka_cluster1 那么..
你能教我如何快速入门kafka
03-30
当然可以！以下是一些步骤，可以帮助你快速入门Kafka： 1. 下载并安装Kafka：首先，你需要下载并安装Kafka。你可以从官方网站上下载Kafka：https://kafka.apache.org/downloads。根据你的操作系统选择正确的版本下载并安装。 2. 启动Kafka服务器：安装完成后，你需要启动Kafka服务器。使用终端，进入Kafka文件夹并运行以下命令： ```bash bin/zookeeper-server-start.sh config/zookeeper.properties ``` 然后，在另一个终端窗口中，启动Kafka服务器： ```bash bin/kafka-server-start.sh config/server.properties ``` 3. 创建一个主题：在Kafka中，消息被发送到主题。你需要创建一个主题，以便你可以在其中发布和消费消息。使用以下命令创建一个名为“test”的主题： ```bash bin/kafka-topics.sh --create --topic test --bootstrap-server localhost:9092 ``` 4. 发布消息：现在，你可以向“test”主题发布消息。使用以下命令将消息“Hello, Kafka！”发布到主题： ```bash bin/kafka-console-producer.sh --topic test --bootstrap-server localhost:9092 ``` 5. 消费消息：你可以使用以下命令从“test”主题中消费消息： ```bash bin/kafka-console-consumer.sh --topic test --from-beginning --bootstrap-server localhost:9092 ``` 这将从主题的开头开始读取消息，并将它们打印到控制台上。 这些是入门Kafka的基本步骤。当你掌握了这些基础知识后，你可以进一步了解Kafka的更高级功能和用法。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值