flink
qq_34158117
这个作者很懒,什么都没留下…
展开
-
flinksql日期
获取前一天的日期:DATE_FORMAT(TIMESTAMPADD(DAY, -1, CURRENT_TIMESTAMP), 'yyyyMMdd')原创 2021-06-07 10:54:55 · 3028 阅读 · 1 评论 -
Flink CEP
Flink CEP简介11.1什么是复杂事件处理CEP一个或多个由简单事件构成的事件流通过一定的规则匹配,然后输出用户想得到的数据,满足规则的复杂事件。特征:目标:从有序的简单事件流中发现一些高阶特征 输入:一个或多个由简单事件构成的事件流 处理:识别简单事件之间的内在联系,多个符合一定规则的简单事件构成复杂事件 输出:满足规则的复杂事件CEP用于分析低延迟、频繁产生的不同来源的事件流。CEP可以帮助在复杂的、不相关的事件流中找出有意义的模式和复杂的关系,以接近实时或准实..原创 2020-08-07 00:09:52 · 158 阅读 · 0 评论 -
选择一个状态后端(state backend)
选择一个状态后端(state backend)MemoryStateBackend内存级的状态后端,会将键控状态作为内存中的对象进行管理,将它们存储在TaskManager的JVM堆上;而将checkpoint存储在JobManager的内存中。FsStateBackend将checkpoint存到远程的持久化文件系统(FileSystem)上。而对于本地状态,跟MemoryStateBackend一样,也会存在TaskManager的JVM堆上。RocksDBStateBackend将所原创 2020-08-07 00:07:11 · 430 阅读 · 1 评论 -
Flink+Kafka如何实现端到端的exactly-once语义
Flink+Kafka如何实现端到端的exactly-once语义我们知道,端到端的状态一致性的实现,需要每一个组件都实现,对于Flink + Kafka的数据管道系统(Kafka进、Kafka出)而言,各组件怎样保证exactly-once语义呢?内部 —— 利用checkpoint机制,把状态存盘,发生故障的时候可以恢复,保证内部的状态一致性 source —— kafka consumer作为source,可以将偏移量保存下来,如果后续任务出现了故障,恢复的时候可以由连接器重置偏移量,重新.原创 2020-08-07 00:03:08 · 800 阅读 · 0 评论 -
Flink的检查点算法-Chandy-Lamport分布式快照算法
Flink的检查点算法Flink检查点算法的正式名称是异步分界线快照(asynchronous barrier snapshotting)。该算法大致基于Chandy-Lamport分布式快照算法。Flink检查点的核心作用是确保状态正确,即使遇到程序中断,也要正确。记住这一基本点之后,我们用一个例子来看检查点是如何运行的。Flink为用户提供了用来定义状态的工具。例如,以下这个Scala程序按照输入记录的第一个字段(一个字符串)进行分组并维护第二个字段的计数状态。valstream:Dat..原创 2020-08-07 00:00:26 · 749 阅读 · 0 评论 -
source-flink-sink实现端到端的状态一致性
端到端(end-to-end)状态一致性端到端的一致性保证,意味着结果的正确性贯穿了整个流处理应用的始终;每一个组件都保证了它自己的一致性,整个端到端的一致性级别取决于所有组件中一致性最弱的组件。具体可以划分如下:内部保证 —— 依赖checkpoint source 端 —— 需要外部源可重设数据的读取位置 sink 端 —— 需要保证从故障恢复时,数据不会重复写入外部系统而对于sink端,又有两种具体的实现方式:幂等(Idempotent)写入和事务性(Transactional)写入。原创 2020-08-06 23:51:10 · 629 阅读 · 0 评论 -
flink/blink源码编译
flink github地址:git clone git@github.com:apache/flink.git默认master分支是flink如果想编译blink需切换分支:git checkout blink编译源码:mvn clean install -Dmaven.test.skip=true -Dhadoop.version=2.7.6 -Dmaven.javadoc.skip=true -Dcheckstyle.skip=true -Drat.skip=true..原创 2020-07-29 08:42:10 · 461 阅读 · 0 评论