flink java
文章平均质量分 85
Flink - 流式计算 - java语言
959y
奋斗ing
展开
-
[Flink] 容错机制与状态一致性机制
Flink的容错机制以及状态一致性机制, 从checkpoint和savepoint分析原创 2023-02-02 19:45:44 · 1051 阅读 · 0 评论 -
Flink Process Function
处理函数ProcessFunction的用法原创 2022-12-22 19:27:03 · 1722 阅读 · 0 评论 -
Flink Window Function
Flink 窗口函数的处理原创 2022-12-13 20:59:57 · 759 阅读 · 0 评论 -
Flink的四大基石
Flink的四大基石: checkpoint, state, window, time原创 2022-07-19 13:58:03 · 1080 阅读 · 0 评论 -
Flink_cep_2
文章目录1.模式Api (Partern Api)1.1 个体模式1.1.1 个体模式形式1.1.2 个体模式中的量词1.1.3 条件 Conditions1.模式Api (Partern Api)Flink CEP 核心就是模式1.1 个体模式1.1.1 个体模式形式每一个简单事件并不是任意选取的,也需要有一定的条件规则;所以我们就把每个简单事件的匹配规则称为个体模式.<LoginEvent>begin("one") .where(new Simpl原创 2022-04-08 14:52:14 · 478 阅读 · 0 评论 -
Flink_cep_1
文章目录1.CEP概述1.CEP概述原创 2022-04-07 15:04:06 · 485 阅读 · 0 评论 -
Flink_Sql和Table Api_3
文章目录1.函数1.1 系统自定义函数1.1.1 标量函数1.1.2 聚合函数(Aggregate Functions)1.2 UDF 函数1.2.1 标量函数1.2.2 表函数1.函数系统内置函数UDF函数1.1 系统自定义函数标量函数(Scalar Functions)聚合函数(Aggregate Functions)1.1.1 标量函数所谓的“标量”,是指只有数值大小、没有方向的量;所以标量函数指的就是只对输入数据做转换操作、返回一个值的函数。这里的输入数据对应在表中,一般就是原创 2022-04-06 15:10:43 · 2551 阅读 · 0 评论 -
Flink_Sql和Table Api_2
文章目录1.时间属性 Time1.1 事件时间1.2 处理时间2.窗口 Window3.聚合查询3.1 分组聚合1.时间属性 Time基于时间的操作(比如时间窗口),需要定义相关的时间语义和时间数据来源的信息。在Table API 和 SQL 中,会给表单独提供一个逻辑上的时间字段,专门用来在表处理程序中指示时间。所以所谓的时间属性(time attributes),其实就是每个表模式结构(schema)的一部分。它可以在创建表的 DDL 里直接定义为一个字段,也可以在 DataStream 转换成表原创 2022-04-05 13:59:03 · 490 阅读 · 0 评论 -
Flink_Sql和Table Api_1
文章目录1.Flink Sql介绍2.快速上手2.1 Flink sql 编程12.2 Flink Sql 编程23.相关表3.1 连接器表1.Flink Sql介绍可以看出来Flink SQL 位于顶层在 Flink 中这两种 API 被集成在一起,SQL 执行的对象也是 Flink 中的表(Table),所以我们一般会认为它们是一体的。Flink 是批流统一的处理框架,无论是批处理(DataSet API)还是流处理(DataStream API),在上层应用中都可以直接使用 TableAP原创 2022-04-04 13:56:24 · 2101 阅读 · 0 评论 -
Flink_状态编程_2
文章目录1.算子状态概述1.1 算子状态分类1.2 状态分析1.3 CheckpointedFunction 接口2.算子状态 编程案例2.1 列表状态案例2.2 广播机制 案例3.状态持久化和状态后端3.1 检查点(Checkpoint)3.2 状态后端 state Backends4.状态编程总结1.算子状态概述1.1 算子状态分类算子状态:列表状态, 联合列表状态, 广播状态ListState, UnionListState, BroadcastState1.2 状态分析列表状态原创 2022-04-02 13:34:24 · 504 阅读 · 0 评论 -
Flink_状态编程_1
文章目录1.Flink 中的状态1.1 状态管理1.2 状态的分类2.按键分区状态 (keyed state)2.1 值类型2.2 列表状态 List State2.3 映射状态 Map State2.4 聚合状态 Aggregating State1.Flink 中的状态1.1 状态管理状态的访问权限。我们知道 Flink 上的聚合和窗口操作,一般都是基于 KeyedStream的,数据会按照 key 的哈希值进行分区,聚合处理的结果也应该是只对当前 key 有效。然而同一个分区(也就是 slo原创 2022-03-30 14:43:14 · 2416 阅读 · 0 评论 -
Flink_窗口_Window
文章目录1.窗口概述2.窗口分类2.1 时间窗口2.2 计数窗口3.细分3.1 滚动窗口3.2 滑动窗口3.3 会话窗口3.4 全局窗口4.窗口Api4.1 按键分区窗口4.2 非按键分区4.3 代码中窗口Api的调用5.窗口分配器 Window Assigners5.1 时间窗口5.2 计数窗口5.3 全局窗口6.窗口函数6.1 增量函数6.2 全量函数7.TopN 实例1.窗口概述Flink 是一种流式计算引擎,主要是来处理无界数据流的,数据源源不断、无穷无尽。想要更加方便高效地处理无界流,一种方式原创 2022-03-28 17:28:49 · 1369 阅读 · 0 评论 -
Flink_Time_时间语义_水平线
文章目录1.时间语义概述2.水平线 Watermark2.1 Watermark 介绍2.2 Watermark 特点2.3 如何生成水位线2.4 有序流2.5 无序流2.6 完整代码2.7 Watermark 总结1.时间语义概述对于一台机器而言,“时间”自然就是指系统时间。但我们知道,Flink 是一个分布式处理系统。分布式架构最大的特点,就是节点彼此独立、互不影响,这带来了更高的吞吐量和容错性;但有利必有弊,最大的问题也来源于此。在事件发生之后,生成的数据被收集起来,首先进入分布式消息队列,然原创 2022-03-27 16:06:32 · 890 阅读 · 0 评论 -
Flink CDC
文章目录1.CDC概述1.1 CDC1.2 CDC 分类1.3 Flink-CDC1.4 ETL 分析2.Flink CDC 编码2.1 提前准备2.2 mysql 的设置2.3 java 代码编写3.利用自定义格式编码4.Flink Sql 编码5.Flink CDC 2.0 的新特性1.CDC概述1.1 CDCCDC 是 Change Data Capture(变更数据获取)的简称。核心思想是,监测并捕获数据库的变动(包括数据或数据表的插入、更新以及删除等),将这些变更按发生的顺序完整记录下来,写原创 2022-03-26 16:14:16 · 2506 阅读 · 0 评论 -
Flink 多流转换
文章目录1.分流1.1 简单实现2.Union聚合3.Connect 连接4.Join 合流4.1 Window Join 窗口联结4.2 Interval Join 间隔联结4.3 Window CoGroup 窗口同组联结5.总结1.分流所谓“分流”,就是将一条数据流拆分成完全独立的两条、甚至多条流。也就是基于一个DataStream,得到完全平等的多个子 DataStream,如图 8-1 所示。一般来说,我们会定义一些筛选条件,将符合条件的数据拣选出来放到对应的流里。1.1 简单实现其实根原创 2022-03-21 15:19:41 · 1112 阅读 · 0 评论 -
Flink教程4_Sink输出
文章目录1.输出到File文件2.输出到Kafka中3.输出到Mysql中1.输出到File文件public class SinkTest01 { public static void main(String[] args) throws Exception { StreamExecutionEnvironment environment = StreamExecutionEnvironment.getExecutionEnvironment(); environ原创 2022-03-18 17:46:35 · 2483 阅读 · 0 评论 -
Flink之State状态编程
1.State分类State[ValueState、ReadOnlyBroadcastState、MapState、AppendingState]AppendingState[FoldingState、MergingState]MergingState[ListState、AggregatingState、ReducingState]在flink中,状态始终与特定算子相关联,像reduce、sum等算子都是默认带状态的,而map、flatmap本身时不带状态的,如果需要用到状态,可以自定义为了使原创 2022-02-12 18:17:06 · 1372 阅读 · 0 评论 -
Flink_面试题4
文章目录1.聚合函数 GroupBy、Distinct、KeyBy 等函数时 出现数据热点该如何解决2.Flink 任务延迟高如何解决3.Flink 是如何处理反压的4.Flink 的反压和 Strom 有哪些不同5.Operator Chains(算子链)6.什么情况下形成算子链7.Flink1.9 的新特性8.消费 kafka 数据的时候,如何处理脏数据1.聚合函数 GroupBy、Distinct、KeyBy 等函数时 出现数据热点该如何解决数据倾斜和热点数据是大数据不可绕过去的问题1.在业务上原创 2021-12-17 17:28:48 · 1438 阅读 · 0 评论 -
Flink面试题_3
文章目录1.Flink 是如何支持批流一体的2.Flink 是如何做到高效的数据交换的3.Flink 是如何做容错的4.Flink 分布式快照的原理是什么5.Flink 是如何保证 Exactly-once 语义的6.说说 Flink 的内存管理是如何做的7.Flink 的序列化8. Flink 中的 Window 出现了数据倾斜,你有什么解决办法9.Flink SQL 的实现原理是什么1.Flink 是如何支持批流一体的Flink 的开发者认为批处理是流处理的一种特殊情况。批处理是有限的流处理。Fl原创 2021-12-11 22:57:37 · 1110 阅读 · 0 评论 -
Flink面试题_2
文章目录1.Flink 的并行度了解吗?Flink 的并行度设置是怎样的?2.Flink 的 Slot 和 parallelism 有什么区别3.link 有没有重启策略?说说有哪几种?4.用过 Flink 中的分布式缓存吗?如何使用?5.说说 Flink 中的广播变量,使用时需要注意什么6.Flink 中的窗口7.说说 Flink 中的状态存储8.Flink 中的时间9.watermark1.Flink 的并行度了解吗?Flink 的并行度设置是怎样的?Flink 中的任务被分为多个并行任务来执行,其原创 2021-12-10 20:39:21 · 626 阅读 · 0 评论 -
flink教程3-Transfom
转换算子1.txtsensor_1,111,11.1sensor_2,121,11.2sensor_3,211,11.3sensor_4,311,11.41.基本转换算子map, flatMap, filterpublic class TransformTest01_Base { public static void main(String[] args)throws Exception{ // 基本转化算子 //map, flatMap, filt原创 2021-12-04 18:24:56 · 431 阅读 · 0 评论 -
Flink面试题_1
1.Flink 相比传统的 Spark Streaming 区别Fink 是标准的实时处理引擎,基于事件驱动。而 Spark Streaming 是微批(Micro-Batch)的模型。架构模型 Spark Streaming 在运行时的主要角色包括:Master 、Worker、Driver 、Executor,Flink 在运行时主要包含:Jobmanager、Taskmanager 和 Slot。任务调度 Spark Streaming 连续不断的生成微小的数据批次,构建有向无环图 DAG,S原创 2021-12-03 23:42:56 · 788 阅读 · 0 评论 -
flink教程-2-Source
文章目录1.Source1.1 集合1.2 文件File1.3 kafka1.4 自定义数据源UDF1.Source数据源bean@Data@AllArgsConstructor@NoArgsConstructorpublic class SensorReading { private String id; private Long timestamp; private Double temperature;}1.1 集合env.fromCollectionp原创 2021-12-03 23:24:41 · 841 阅读 · 0 评论 -
Flink教程-1
1.简单介绍一下 FlinkFlink 是一个框架和分布式处理引擎,用于对无界和有界数据流进行有状态计算。Flink 提供了数据分布、容错机制以及资源管理等核心功能。Flink 提供了诸多高抽象层的API 以便用户编写分布式任务:最底层为ProcessFunction,是可以获取状态的最底层的函数,可以获取当前事件和时间,中间的一层是DataStream,可以定义窗口windows,最上的一层是Flink sql和Table api,和hive一样可以通过SQL进行转换操作1.DataSet AP原创 2021-12-03 23:00:11 · 849 阅读 · 0 评论