Flink配置执行环境和参数

一、配置DataStream API、DataSet API的执行环境

  • 执行环境(Execution Environment)表示当前执行程序的上下文,它决定了Flink应用程序在什么执行环境(本地或集群)中执行。

  • 不同的执行环境也决定了应用程序的不同类型。批处理和流处理作业分别使用不同的执行环境。

  • 创建执行环境的类:

    • StreamExecutionEnvironment:用来创建流处理执行环境
    • ExecutionEnvironment:用来创建批处理执行环境
  • 获取执行环境的方法:

    • getExecutionEnvironment():该方法自动获取当前执行环境,是常用的创建执行环境的方式。如果没有设置并行度,则以flink-conf.yaml文件中配置的并行度为准,默认值是1

    • createLocalEnvironment():该方法返回本地执行环境,需要在调用时指定并行度。如果将编译后的应用程序发布到集群中,则需要把源码改成远程执行环境

    • createRemoteEnvironment():该方法返回集群的执行环境,但需要在调用时指定作业管理器的IP地址、端口号和集群中运行的JAR包位置等。

      StreamExecutionEnvironment
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值