Flink
文章平均质量分 94
绿萝蔓蔓绕枝生
这个作者很懒,什么都没留下…
展开
-
Flink工作原理
目录JobClientJobManagerTaskManagerSlotFlink是新的stream计算引擎,用java实现。既可以处理stream data也可以处理batch data,可以同时兼顾Spark以及Spark streaming的功能,与Spark不同的是,Flink本质上只有stream的概念,batch被认为是special stream。Flink在运行中主要有三个组件组成,JobClient,JobManager 和 TaskManager。主要工作原理如下图用户首先提交Fl原创 2021-03-29 19:52:02 · 234 阅读 · 0 评论 -
Flink开发步骤、核心技术原理及窗口机制
目录概述1、Evironment2、Source2.1、从集合读取数据2.2、从本地文件中读取数据2.3、从HDFS文件中读取数据2.4、从Kafka获取数据2.5、自定义数据源3、Transform3.1、map3.1.1、MapFunction3.1.2、RichMapFunction3.1.3、flatMap3.2、filter3.3、keyBy3.4、shuffle3.5、split3.6、select3.7、connect3.8、union3.9、Operator3.9.1、滚动聚合算子(Roll原创 2020-12-30 19:44:10 · 511 阅读 · 0 评论