![](https://img-blog.csdnimg.cn/76409d0db0054fdda212c1576af1eb68.jpeg?x-oss-process=image/resize,m_fixed,h_224,w_224)
Flink
分享flink的学习经验
Lynn Gin
这个作者很懒,什么都没留下…
展开
-
Flink Java 之案例1(RealtimeMoneyCountAndCategoryTop)
RealtimeMoneyCountAndCategoryTop原创 2022-07-07 16:29:13 · 347 阅读 · 0 评论 -
Flink Java CDC 之自定义反序列化器
以上两种都是原本就提供的,显然第二种更便于下游进行数据处理,那么自定义的会更好,可读性更强。原创 2022-07-07 11:16:02 · 2633 阅读 · 0 评论 -
Flink Java CDC
CDC Connectors for Apache Flink 是一组用于Apache Flink 的源连接器,使用变更数据捕获 (CDC) 从不同数据库获取变更。用于 Apache Flink 的 CDC 连接器将 Debezium 集成为捕获数据更改的引擎。所以它可以充分发挥 Debezium 的能力。...原创 2022-07-06 17:31:32 · 1337 阅读 · 0 评论 -
Flink Java Table API & SQL 之实时订单统计
就是每隔5秒统计最近5秒的每个用户的订单总数、订单的最大金额、订单的最小金额原创 2022-07-06 16:07:47 · 1689 阅读 · 1 评论 -
Flink Java Table API & SQL 之 wordcount
flink table & sql ---- wordcount原创 2022-07-06 11:01:31 · 153 阅读 · 0 评论 -
Flink Java Table API & SQL 之环境创建,表创建, 表查询,表输出
入门操作原创 2022-07-06 10:16:32 · 1457 阅读 · 0 评论 -
Flink Java 之 Savepoints
Savepoint 是依据 Flink checkpointing 机制所创建的流作业执行状态的一致镜像。 你可以使用 Savepoint 进行 Flink 作业的停止与重启、fork 或者更新。 Savepoint 由两部分组成:稳定存储(列入 HDFS,S3,…) 上包含二进制文件的目录(通常很大),和元数据文件(相对较小)。 稳定存储上的文件表示作业执行状态的数据镜像。 Savepoint 的元数据文件以(相对路径)的形式包含(主要)指向作为 Savepoint 一部分的稳定存储上的所有文件的指针。原创 2022-07-05 17:49:23 · 854 阅读 · 0 评论 -
Flink Java 之 Checkpointing 状态容错
flink checkpoint设置原创 2022-07-05 10:13:03 · 360 阅读 · 0 评论 -
Flink Java 之 Allowed Lateness 容忍迟到数据,侧输出
添加Watermaker来解决一定程度上的数据延迟和数据乱序问题。使用OutputTag+allowedLateness解决数据丢失问题原创 2022-07-05 08:40:52 · 183 阅读 · 0 评论 -
Flink Java 之 Watermark(触发原理, 使用)
实际开发中我们希望基于事件时间来处理数据,但因为数据可能因为网络延迟等原因,出现了乱序或延迟到达,那么可能处理的结果不是我们想要的甚至出现数据丢失的情况,所以需要一种机制来解决一定程度上的数据乱序或延迟到底的问题!也就Watermaker水印机制/水位线机制......原创 2022-07-04 18:00:16 · 717 阅读 · 0 评论 -
Flink Java 之 window(滚动, 滑动, 计数, 会话)
来源于flink官网原创 2022-07-04 16:13:43 · 546 阅读 · 0 评论 -
Flink Java 之 读取 kafka 数据与数据写入 kafka
序列与反序列化 kafka 数据Flink Kafka Consumer 需要知道如何将 Kafka 中的二进制数据转换为 Java 或者 Scala 对象。KafkaDeserializationSchema 允许用户指定这样的 schema,每条 Kafka 中的消息会反序列化。以上代码采用最简单的SimpleStringSchema。为了方便使用,Flink 提供了以下几种 schemas:TypeInformationSerializationSchema(和 Typ...原创 2022-07-04 08:42:33 · 2840 阅读 · 0 评论 -
Flink Java 之 MySQL Sink
自定义 MySQL sink原创 2022-07-03 18:24:58 · 848 阅读 · 0 评论 -
Flink Java 之 Rebalence 平衡分区
rebalence平衡分区原创 2022-07-03 16:12:43 · 627 阅读 · 0 评论 -
Flink Java 之 SideOutputs 数据分流
数据分流原创 2022-07-03 09:49:39 · 230 阅读 · 0 评论 -
Flink Java 之数据流的 union 与 connect
union 与 connect 操作,区别原创 2022-07-03 09:12:06 · 672 阅读 · 0 评论 -
Flink Java 之数据的基础转换操作
数据的基础转换原创 2022-07-03 08:38:56 · 527 阅读 · 0 评论 -
Flink java 之读取 MySQL 数据源
flink读取mysql数据原创 2022-07-02 17:00:39 · 1322 阅读 · 3 评论 -
Flink java 之自定义数据源
自定义flink数据源原创 2022-07-02 16:09:39 · 441 阅读 · 0 评论