![](https://img-blog.csdnimg.cn/20190927151117521.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
Flink
文章平均质量分 90
flink
ElegantCodingWH
子非吾,焉之吾之乐也
展开
-
【Flink】Sink 下沉算子 『print() | addSource() 』
1. Flink 直接连接的数据源* 将数据输出到控制台2. Flink使用连接器连接的数据源2.1 将数据输出到Kafka (用于无界流数据的实际场景)2.2 将数据输出到Redis (用于无界流数据的实际场景)2.3 将数据输出到 Elasticsearch (用到了再写)2.4 将数据输出到 MySQL(JDBC) (用到了再写)2.5 将数据输出到 文件系统 (用到了再写)2.6 自定义 Sink 输出 (用到了再写)原创 2023-01-12 08:54:43 · 381 阅读 · 0 评论 -
【Flink】Transformation 转换算子 『流分区 | 基本转换算子 | 聚合算子 | 合流算子 | 富函数类 | 自定义转换算子』
1. 流分区 (非算子)1.1 keyBy() 分区1.2 shuffle() 分区1.3 rebalance() 与 rescale() 分区1.4 broadcast() 分区1.5 global() 分区1.6 自定义分区2. 基本转换算子2.1 map (一对一)2.2 filter (一对一)2.3 flatMap (一对多)3. 聚合算子3.1 sum() 算子3.2 min() 算子 与 minBy() 算子3.3 max() 算子 与 maxBy() 算子3.4原创 2023-01-11 19:15:18 · 268 阅读 · 0 评论 -
【Flink】Source 源算子 『fromCollection() | readTextFile() | socketTextStream | addSource() | Flink流支持的数据』
1. Flink 直接连接的数据源1.1 从 集合 中读取数据(用于有界流数据的测试场景)1.2. 从 文件 读取数据(用于有界流数据的实际场景)1.3 从 Socket 读取数据(用于无界流数据的测试场景)2. Flink使用连接器连接的数据源4.1 从 Kafka 读取数据(用于无界流数据的实际场景)4.2 自定义连接器3. Flink流支持的数据类型原创 2023-01-07 10:01:54 · 329 阅读 · 0 评论 -
【Flink---04】Flink运行时架构 『 系统架构 | 作业提交流程 | 数据流图 vs 作业图 vs 执行图 vs 物理图 | 并行度 | 任务槽| 算子任务 | 算子子任务』
1. 系统架构1.1 概述1.2 JobManager1.3 TaskManager2. 作业提交流程2.1 抽象流程2.2 yarn集群下流程(动态分配TaskManager⭐)2.2.1 会话模式2.2.2 单作业模式2.2.3 应用模式2.3 Standalone集群下流程(预先固定TaskManager个数⭐)3. 一些重要概念3.1 算子3.2 并行度(Parallelism)(1) 什么是并行度?(2) 怎么设置算子的并行度?(3) 关于并行度的优化:合并算子链原创 2023-01-05 18:17:47 · 731 阅读 · 0 评论 -
【Flink---03】Flink生产环境:搭建集群、设置系统结构、设置系统的资源框架
第一步:搭建集群1.1 单点启动(用于测试)1.2 集群启动(用于实际环境)第二步:设置系统结构第三步:设置系统的资源框架原创 2023-01-03 11:10:49 · 325 阅读 · 0 评论 -
【Flink---02】Flink开发环境:IDEA
第一步:创建项目第二步:编辑pom.xml文件第三步:配置日志第四步:编写代码(1) 数据准备(2) 方式一:批处理(3) 方式二:流处理* 以有界流的方式* 以无界流的方式原创 2022-12-26 21:39:48 · 2830 阅读 · 1 评论 -
【Flink---01】Flink概述
1. Flink是什么?2 Flink在大数据架构中的位置3. Flink的特性4. Flink的API5. Flink的应用6. Flink vs Spark原创 2022-12-26 21:37:57 · 172 阅读 · 0 评论