flink开始前的那些事

本文介绍了启动Flink项目的第一步——创建环境,包括官方推荐的ExecutionEnvironment.getExecutionEnvironment、createLocalEnvironment和创建远程环境的方法。接着,文章讨论了批处理中创建DataSet对象的三种方式:fromCollection、fromElements和通过外部文件创建。
摘要由CSDN通过智能技术生成

1.创建环境
不管是批处理还是流处理,开启Flink之旅的第一个操作就是创建操作环境
Flink官方提供了三种方法创建操作环境变量
1.val env1 = ExecutionEnvironment.getExecutionEnvironment
这一种是官方推荐使用的,会根据执行程序的上下文环境创建,如果实在本地执行程序那么环境类型是local,如果是集群模式(command line) 则是cluster,并且local模式是默认的

在这里插入图片描述

2.val env2 = ExecutionEnvironment.createLocalEnvironment() 直接创建本地环境

3.创建远程环境,传递 hort port 以及jar包,主要是可以远程在集群中运行

val env3 = ExecutionEnvironment.createRemoteEnvironment("hort",5555,"jar")

2.创建处理对象
不管是批处理还是流处理,再创建环境之后,接下来就必须创建响应的对象
这里举批处理为例,方式都是一样的
一般情况下创建DataSet对象有三种方式
1.通过fromCollection方法创建

val list = List(1,2,3)
env2.fromCollection(list)

2.通过fromElements创建

val dataSet = env2.fromElements(1,2,3,4)

3.通过外部文件创建

val dataSet = env2.readTextFile("D://a.txt")

在这里插入图片描述

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值