flink不同环境动态传参

在实际生产中一般都有多个环境，比如开发环境，测试环境，生产环境等等。

不同的环境机器不同，一些组件的配置也不同，因此一个flink作业在不同的环境运行时需要指定对应的参数。

本文以动态配置不同环境的apollo.meta为例，介绍在web ui以及flink shell两种方式提交作业时如何动态指定参数。

job

public static void main(String[] args) throws Exception {


        StreamExecutionEnvironment environment = StreamExecutionEnvironment.getExecutionEnvironment();

        DataStreamSource<String> streamSource = environment.fromElements("hello world");

        //获取传入的参数
        ParameterTool parameterTool = ParameterTool.fromArgs(args);
        //注册给环境变量
        environment.getConfig().setGlobalJobParameters(parameterTool);
        //获取注册的配置
        ExecutionConfig.GlobalJobParameters parameters = environment.getConfig().getGlobalJobParameters();

        Map<String, String> map = parameters.toMap();
        //获取apollo.meta，并注册给系统变量
        String apollo = map.get("apollo");
        System.setProperty("apollo.meta", apollo);
        //apollo客户端就可以获取apollo中的配置了
        Config apolloConfig = ConfigService.getConfig("namespace");
        String key = apolloConfig.getProperty("key", "default value");


        streamSource.print();
        environment.execute("param job");

    }

web UI 传参

shell 传参

$ flink run -c test.GloableParamTest -p 1 /var/asn/flink/data/jars/flink-1.0-SNAPSHOT.jar --apollo http://ip:port