kafka 故障处理细节

      LEO:
          指的是每个副本最大的offset
      HW:
          指的是消费者能见到的最大的offset,ISR队列最小的LEO


      follower故障
          follower发生故障会被临时踢出ISR,待follower恢复后,follower会读取本地磁盘上次记录的HW,将log文件高于HW的部分截取掉,从HW开始向leader进行同步,等待该follower的LEO大于该Partition的HW,即follower追上leader之后,就可以重新加入ISR。

      leader故障
          leader发生故障后,会从ISR中选出一个新的leader,之后,为保证多个副本之间的数据一致性,其余的follower会将各自log文件高于HW的部分截取掉,然后从新的leader同步数据。
          这样只能保证副本之间的数据一致性,并不能保证数据不丢失或者不重复。


      Exactly Once语义
          对于某些重要的消息,只需要保证exactly once 语义,既保证每条消息被发送且仅被发送一次。

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 1
    评论
Kafka Connect是一个用于数据集成的开源工具,它是Apache Kafka项目的一部分。Kafka Connect旨在简化将数据从不同的数据源和数据目的地流动到Kafka集群的过程。 Kafka Connect的源码是以Java语言编写的,它包含了连接器和转换器等关键组件。连接器是负责从数据源中读取数据并将其写入Kafka的组件,它们支持许多常见的数据源,如数据库、文件系统、消息队列等。转换器用于对读取的数据进行转换和处理,以便在不同的数据格式和结构之间进行映射。 源码中的关键类包括Connector、Task、SinkTask和SourceTask。Connector类是连接器的主要实现,它负责配置和启动连接器的任务。每个连接器可以有一个或多个任务,Task类是连接器任务的抽象基类,负责实际的数据读写操作。SinkTask是将数据写入Kafka集群的任务,而SourceTask是从数据源中读取数据的任务。 Kafka Connect的源码还包含了许多其他的实用类和工具,用于处理连接器的配置、监控连接器的运行状态、处理错误和故障等。源码中的关键逻辑包括数据的序列化和反序列化、数据的转换和处理、连接器的动态扩展和配置的管理等。 通过研究Kafka Connect的源码,我们可以深入理解它的工作原理和实现细节,从而更好地使用和扩展Kafka Connect,满足各种数据集成的需求。我们可以通过修改或扩展源码来适应特定的数据源和数据目的地,并通过调试源码来解决连接器运行中的问题。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

星有印象

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值