Flink端到端一致性的保证（Flink到Kafka）-基于Paxos的Zab协议

最新推荐文章于 2022-02-14 16:10:35 发布
最新推荐文章于 2022-02-14 16:10:35 发布
阅读量276 收藏
点赞数
分类专栏： Hadoop 文章标签： flink
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/DaDiNiWangGe/article/details/104517210
版权

有没有思考过这样的问题–在flink内部使用的分布式快照算法保证一致性的问题，那在flink运行的shangxiawen组件中一致性是怎么保证的呢？
flink内–checkpoint
在这里插入图片描述

实际生产中必须考虑端端一致性的保证，他的一致性级别取决于所有流程中一致性最弱的组件
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
预写日志：针对于非关系型数据库–如es redis等
在这里插入图片描述
两阶段提交：针对于关系型数据库
在这里插入图片描述
在这里插入图片描述在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

大地你王哥
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Flink读取Kafka数据写入Hive
weixin_40278610的博客
03-14 8960
本文针对数据库CDC(change data capture)场景设计，探讨基于Flink1.12最新版本提供的实时写入Hive的技术可行性，下面为本地IDEA程序案例可供参考。
大话Flink之十-Flink 的状态一致性
youhaitao_do的博客
12-22 327
Flink 的状态一致性 1 状态一致性 1.1 什么是状态一致性 • 有状态的流处理，内部每个算子任务都可以有自己的状态。 • 对于流处理器内部来说，所谓的状态一致性，其实就是我们所说的计算结果要保证准确。 • 一条数据不应该丢失，也不应该重复计算。 • 在遇到故障时可以恢复状态，恢复以后的重新计算，结果应该也是完全正确的。 1.2状态一致性分类 • AT-MOST-ONCE(最多一次) ➢ 当任务故障时，最简单的做法是什么都不干，既不恢复丢失的状态，也不重播丢失的数据。At-most-o.
flink端到端状态一致性
song_quan_的博客
11-17 747
目前我们看到的一致性保证都是由流处理器实现的，也就是说都是在 Flink 流 处理器内部保证的；而在真实应用中，流处理应用除了流处理器以外还包含了数据 源（例如 Kafka）和输出到持久化系统。 端到端的一致性保证，意味着结果的正确性贯穿了整个流处理应用的始终；每 一个组件都保证了它自己的一致性，整个端到端的一致性级别取决于所有组件中一 致性最弱的组件。具体可以划分如下： ⚫ 内部保证 —— 依赖 checkpoint ⚫ source 端 —— 需要外部源可重设数据的读取位置
flink+kafka的端到端一致性
weixin_40278610的博客
10-10 565
上一篇中提到flink+kafka如何做到任务级顺序保证，而端到端一致性即为实现用户数据目标端与源端的准确一致，当源端数据发生更改时，保证目标端及时、正确、持久的写入更改数据。为实现端到端一致性应在顺序保证的基础上，实现一致性语义exactly once的保证。纵观各底层组件：Debezium、Kafka、Flink构成了端到端一致性中至关重要的每一环，应充分考虑、分析各组件的一致性语义特性的支持。 为实现exactly once语义的一致性，必须提供处理过程的容错性以及处理结果的幂等性。处理过程的容错性是
flink1.13读kafka写入hive
qq_36062467的博客
07-29 3422
flink1.13读kafka写入hive 第一次写博客，flink自学了一下，网上查找案例，群里问大神，勉强把kafka写hive的流程走通了，在此记录一下，给后来者做个参考 ，其中有考虑不周或者错误的地方，请大家多多包涵和指正，嘻嘻。 代码 package cn.bywin import org.apache.flink.streaming.api.{CheckpointingMode, TimeCharacteristic} import org.apache.flink.streaming.api
flink-connector-kafka-0.10-2.11-1.10.0-API文档-中文版.zip
04-23
赠送jar包：flink-connector-kafka-0.10_2.11-1.10.0.jar； 赠送原API文档：flink-connector-kafka-0.10_2.11-1.10.0-javadoc.jar； 赠送源代码：flink-connector-kafka-0.10_2.11-1.10.0-sources.jar； 赠送Maven...
flink-connector-kafka-base-2.11-1.10.0-API文档-中文版.zip
04-23
赠送jar包：flink-connector-kafka-base_2.11-1.10.0.jar； 赠送原API文档：flink-connector-kafka-base_2.11-1.10.0-javadoc.jar； 赠送源代码：flink-connector-kafka-base_2.11-1.10.0-sources.jar； 赠送Maven...
flink-sql-connector-kafka-2.12-1.13.1.jar
最新发布
03-15
flink-sql-connector-kafka_2.12-1.13.1.jar 是 Apache Flink 的一个 Kafka SQL Connector 的 JAR 包，用于在 Flink SQL 环境中与 Apache Kafka 集成。这里面的数字 2.12 和 1.13.1 分别表示了这个 JAR 包所依赖的 ...
flink-connector-kafka-2.12-1.14.3-API文档-中英对照版.zip
06-06
赠送jar包：flink-connector-kafka_2.12-1.14.3.jar； 赠送原API文档：flink-connector-kafka_2.12-1.14.3-javadoc.jar； 赠送源代码：flink-connector-kafka_2.12-1.14.3-sources.jar； 赠送Maven依赖信息文件：...
flink-connector-kafka-0.9-2.11-1.10.0-API文档-中文版.zip
04-23
赠送jar包：flink-connector-kafka-0.9_2.11-1.10.0.jar； 赠送原API文档：flink-connector-kafka-0.9_2.11-1.10.0-javadoc.jar； 赠送源代码：flink-connector-kafka-0.9_2.11-1.10.0-sources.jar； 赠送Maven依赖...
Apache Flink结合Apache Kafka实现端到端的一致性语义.pdf
05-16
流计算中的一致性语义定义，以及通常系统怎么支持一致性语义，Flink+Fafka如何实现端到端的一致性语义。Flink会定期地产生checkpoint并且把这些checkpoint写入到一个持久化存储上，比如S3或HDFS。这个写入过程是异步的，这就意味着Flink即使在checkpointing过程中也是不断处理输入数据的。
基于Flink+Hive+Kafka的流批一体数仓实践--03kafka_sink_kafka_ods
GabrielCP的博客
01-06 537
准备工作：搭建Hadoop、kafka、zk集群等（略）。 脚本启动集群后，开启kafka主题消费： bin/kafka-console-consumer.sh --bootstrap-server hadoop002:9092 --from-beginning --topic GoodmeODS_orderMaster kafka_sink_kafka_ods代码如下： import java.time.Duration import org.apache.flink.streaming.api.{C
Flink和Kafka端到端数据一致性
qq_42009405的博客
02-14 1684
Flink内部 把Checkpoint开启，设置Checkpoint模式为EXACTLY_ONCE env.enableCheckpointing(1000*10L); env.getCheckpointConfig().setCheckpointingMode(CheckpointingMode.EXACTLY_ONCE); KafkaSource 当Flink开启Checkpoint时，Kafka的offset会在Checkpoint的时候，把偏移量保存到状态后端(也会提交到kafka中一份)。 注意
Flink-容错机制 | 一致性检查点 | 检查点到恢复状态过程 | Flink检查点算法(Chandy-Lamport) | 算法操作解析 | 保存点简介
SmallScorpion
05-29 1927
一致性检查点（Checkpoints） Flink 故障恢复机制的核心，就是应用状态的一致性检查点 有状态流应用的一致检查点，其实就是所有任务的状态，在某个时间点的一份拷贝（一份快照）；这个时间点，应该是所有任务都恰好处理完一个相同的输入数据的时候(如5这个数据虽然进了奇数流但是偶数流也应该做快照，因为属于同一个相同数据，只是没有被他处理) 在JobManager中也有个Chechpoint的指针，指向了仓库的状态快照的一个拓扑图，为以后的数据故障恢复做准备 从检查点恢复状态 在执行流应
4.1.25 Flink-流处理框架-Flink中的容错机制之Flink+Kafka 端到端状态一致性的保证
敲代码的乔帮主
03-11 290
目录 1.写在前面 2.保证端到端状态一致性 3.Exactly-once 两阶段提交过程 Exactly-once 两阶段提交步骤总结： 1.写在前面 kafka是消息队列，跟flink天生是一对，他们的组合方式就是处理流式数据最佳的一个方案。 假设我们的方案架构师flink从kafka中读取数据，经过flink算子处理之后，sink输出到kafka中。flink的两端都是kafka消息队列的数据管道，这样的一个数据处理系统我们怎么保证数据的一致性呢？ 2....
flink1.11 消费kafka 流式写入hive
weixin_42094092的博客
08-12 2156
目前网上对于flinksql1.11消费kafka流式写入hive资料比较少,且大多是直接在flink中新建kafka表写入hive,但对多层嵌套的json解析不知支持力度几何 ,我这是使用streaming api 消费kafka先将json解析拉平,再转成临时表,最后流式写入hive,且看代码: package com.xxx.xxx import java.sql.Timestamp import java.util.Properties import java.time.Duration impo
kafka+flink实现wordCount及数据写入mysql
long19900613的博客
06-18 4652
    step1:搭建flink环境    step2:搭建kafka环境（配置系统变量$KAFKA_HOME）    step3:搭建zookeeper环境    step4:启动zookeeper：进入zookeeper的bin目录下输入：zkServer.sh start    step5:启动kafka:进入kafka的bin目录下输入：kafka-server-start.sh $KA...
flink1.11.0读取kafka数据写入hive中hive无分区信息及读取不到数据解决
m0_37592814的博客
08-29 4536
一、前言 在上一博客中写了flink1.11.0读取kafka数据写入到hive中，发现hive中无法查询flink通过scala写入的数据，搜了些资料查找原因，参考了下文章:https://zhuanlan.zhihu.com/p/157899980里无法读取hive数据的原因，但里面比较明确给出的解决方案是修改源码，我觉得太麻烦了。查了下官方和阅读些flink源码，终于找到一种我认为比较便捷的解决方案，具体分析方法如下： 完整的flink读取kafka数据动态写出hive，实现实时数仓的代码dem.
状态一致性
HD0do的博客
03-22 424
一文了解flink状态，checkpoint；
如何保证 Kafka—Flink—ClickHouse 端到端一致性
03-28
要保证 Kafka-Flink-ClickHouse 端到端一致性，需要考虑以下几个方面： 1. 数据源 首先确保数据源的数据是准确的、完整的，可以通过数据源的监控和校验来保证数据的正确性。 2. 数据传输 在数据传输过程中，需要确保数据的可靠性和顺序性。可以使用 Kafka 提供的 Producer 和 Consumer API 来保证数据的可靠传输和顺序性。 3. 数据处理 在数据处理过程中，需要保证数据的一致性。可以使用 Flink 提供的 Exactly-Once 语义来保证数据的一致性，即确保每条数据只被处理一次，避免重复处理和丢失数据。 4. 数据存储 在数据存储过程中，需要保证数据的完整性和一致性。可以使用 ClickHouse 提供的 ACID 事务来保证数据的完整性和一致性，确保数据写入和读取的正确性。 综上所述，要保证 Kafka-Flink-ClickHouse 端到端一致性，需要从数据源、数据传输、数据处理和数据存储等方面进行综合考虑和实现。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值