5.flink通过ExecutionConfig将参数传递给算子《深入理解flink系列》

1.《深入理解Flink核心设计与实践原理》一书作者
2.GitHub 热门项目 fink-boot（800+） 开发者，致力于flink与spring生态集成 3.前上市top咨询公司技术经理，现大厂资深开发
4.证书:软件设计师，Apache kylin管理员
5.方向:java服务端开发，分布式开发，实时计算，大数据开发工程师

参数传递给函数

Flink提供了三种方式来简化将参数传递给用户定义的函数这一过程：使用构造函数或withParameters(Configuration)方法或者ExecutionConfig接口都可以将参数传递给函数。

1 ExecutionConfig传递参数

Flink还允许将自定义配置值传递到执行环境的ExecutionConfig执行配置接口，由于可以在所有富函数中访问执行配置，因此自定义配置将在继承了富函数的用户定义函数中全局可用。

设置自定义全局配置

import org.apache.flink.configuration.Configuration;

final StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();

//Configuration是一个轻型配置对象，用于存储键/值对。
Configuration conf = new Configuration();
conf.setLong("limit", 16);
//将Configuration对象设置在执行配置中的globalJobParameters字段中
env.getConfig().setGlobalJobParameters(conf);

除了使用Flink内置的Configuration对象来配置参数外，还允许开发者继承org.apache.flink.api.common.ExecutionConfig.GlobalJobParameters类以在执行配置中注册自定义用户配置对象，重写Map<String，String> toMap()方法将用户配置转换为Map<String，String>表示形式，依次在Web前端中显示配置的值。

从全局配置访问值
全局作业参数中的对象可在系统中的许多位置访问，所有实现RichFunction接口的用户定义函数都可以通过运行时上下文进行访问。

import org.apache.flink.api.common.ExecutionConfig;
import org.apache.flink.api.common.functions.RichFilterFunction;
import org.apache.flink.configuration.Configuration;
import org.apache.flink.streaming.api.datastream.DataStream;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;

public class ParamTemplate {

    private static class FilterJobParameters extends RichFilterFunction<Long> {

        protected long limit ;

        @Override
        public void open(Configuration parameters)  {
            //获取执行环境中的执行配置对象
            ExecutionConfig executionConfig = getRuntimeContext().getExecutionConfig();
            //获取全局作业参数对象
            ExecutionConfig.GlobalJobParameters globalParams =executionConfig.getGlobalJobParameters();
            //将全局作业参数对象转换为Configuration
            Configuration globConf = (Configuration) globalParams;
            //获取作业参数中key为limit的值，如果不存在，则默认为0
            limit = globConf.getLong("limit", 0);
        }

        @Override
        public boolean filter(Long value)  {
            return value > limit;
        }
    }

      public static void main(String[] args) throws Exception {
        final StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
        env.setParallelism(2);
        
        //配置全局作业参数，设置key为limit,值为16
        Configuration conf = new Configuration();
        conf.setLong("limit", 16);
        //将全局作业参数设置在执行配置中
        env.getConfig().setGlobalJobParameters(conf);

        DataStream<Long> dataStream = env.generateSequence(1,20);

       DataStream<Long> resultStream= dataStream.filter(new FilterJobParameters());
       resultStream.print("JobParameters stream is ");
        env.execute("ParamTemplate intsmaze");
    }
}

输出结果:

JobParameters stream is :1> 17
JobParameters stream is :2> 18
JobParameters stream is :2> 20
JobParameters stream is :1> 19