Flink
专栏主要介绍Flink的基础,进阶部分,包括项目实例以及源码解析等
ldd儆儆
这个作者很懒,什么都没留下…
展开
-
Flink Java 自定义数据源
实现SourceFunction接口 public class CustomNonParalleSourceFunc implements SourceFunction<Long> { boolean isRunning = true; long count = 1; public void run(SourceContext<Long> ctx...原创 2020-01-14 17:01:22 · 738 阅读 · 0 评论 -
DataSetAPI详解
一.transformation 1.map map算子是对集合中的每个元素进行操作 val dataSet = env2.fromElements(1,2,3,4) dataSet.map(x=>{ x+1 }).print() //2 3 4 5 2.flatMap 和map算子不同,flatMap是要把集合元素全部压平处理 使用flatMap算子时机多数情况下集合是个数组,比如...原创 2019-12-31 15:48:04 · 763 阅读 · 0 评论 -
flink开始前的那些事
1.创建环境 不管是批处理还是流处理,开启Flink之旅的第一个操作就是创建操作环境 Flink官方提供了三种方法创建操作环境变量 1.val env1 = ExecutionEnvironment.getExecutionEnvironment 这一种是官方推荐使用的,会根据执行程序的上下文环境创建,如果实在本地执行程序那么环境类型是local,如果是集群模式(command line) 则是c...原创 2019-12-30 16:43:12 · 192 阅读 · 0 评论