1.创建环境
不管是批处理还是流处理,开启Flink之旅的第一个操作就是创建操作环境
Flink官方提供了三种方法创建操作环境变量
1.val env1 = ExecutionEnvironment.getExecutionEnvironment
这一种是官方推荐使用的,会根据执行程序的上下文环境创建,如果实在本地执行程序那么环境类型是local,如果是集群模式(command line) 则是cluster,并且local模式是默认的

2.val env2 = ExecutionEnvironment.createLocalEnvironment() 直接创建本地环境
3.创建远程环境,传递 hort port 以及jar包,主要是可以远程在集群中运行
val env3 = ExecutionEnvironment.createRemoteEnvironment("hort",5555,"jar")
2.创建处理对象
不管是批处理还是流处理,再创建环境之后,接下来就必须创建响应的对象
这里举批处理为例,方式都是一样的
一般情况下创建DataSet对象有三种方式
1.通过fromCollection方法创建
val list = List(1,2,3)
env2.fromCollection(list)
2.通过fromElements创建
val dataSet = env2.fromElements(1,2,3,4)
3.通过外部文件创建
val dataSet = env2.readTextFile("D://a.txt")

本文介绍了启动Flink项目的第一步——创建环境,包括官方推荐的ExecutionEnvironment.getExecutionEnvironment、createLocalEnvironment和创建远程环境的方法。接着,文章讨论了批处理中创建DataSet对象的三种方式:fromCollection、fromElements和通过外部文件创建。

被折叠的 条评论
为什么被折叠?



