Flink sql批处理进行同Hive操作

大数据供成屎

已于 2023-04-29 14:46:06 修改

阅读量621

点赞数 1

文章标签： hive flink sql

于 2023-04-29 14:16:49 首次发布

本文链接：https://blog.csdn.net/lbg20211023/article/details/130440211

版权

api和sql特有窗口就做实时流处理，

要是非常复杂特殊类离线场景就用批处理（类hive操作）

//设置批处理方式
        EnvironmentSettings settings = EnvironmentSettings
                .newInstance()
                .inBatchMode()
                .build();
        Configuration conf = settings.toConfiguration();
        conf.setBoolean("rest.flamegraph.enabled", true);
        //设置平行度
        conf.setString("table.exec.hive.infer-source-parallelism.max", "4");
        //官网解释是向量化读取hive，当format是orc或者parquet，同事没有hive的复杂类型
        conf.setString("table.exec.hive.fallback-mapred-reader", "true");
        //将配置传入，获取表环境
        TableEnvironment tEnv = TableEnvironment.create(conf);


        Table t = tEnv.sqlQuery(
                " select 'mike'