Flink个人学习整理-Join和Hive Catalog篇（十五）

大小不是白

已于 2022-04-01 11:33:34 修改

阅读量277

点赞数

文章标签： flink hive 大数据

于 2021-08-20 15:41:59 首次发布

本文链接：https://blog.csdn.net/weixin_44560999/article/details/119825085

版权

本文介绍了Flink SQL中如何进行Join操作，并详细讲解了状态管理，包括默认状态保留时间和如何设置状态保存时间。同时，展示了如何使用HiveCatalog进行Hive数据的操作，如展示Hive中的表格。这些内容对于理解和应用Flink与Hive的集成具有实际指导意义。

摘要由CSDN通过智能技术生成

Flink个人学习整理-Join和Hive Catalog篇（十五）

Flink Join

FlinkSQL中的状态永久保存默认：PT0S 永久保存

public class FlinkSQL06_Join {
    public static void main(String[] args) throws Exception {
        //  获取运行时环境
        StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
        env.setParallelism(1);
        StreamTableEnvironment tableEnvironment = StreamTableEnvironment.create(env);

        //  默认FlinkSQL中的状态永久保存 PT0S
        tableEnvironment.getConfig().getIdleStateRetention();

        //  设置 FlinkSQL中的状态保存10S --（数据空闲10S）
       tableEnvironment.getConfig().setIdleStateRetention(Duration.ofSeconds(10));

        //  TableA
        SingleOutputStreamOperator<TableA> aDS = env.socketTextStream("localhost", 9999)
                .map(line -> {
                    String[] strings = line.split(",");
                    return new TableA(strings[0], strings[1]);
                });

        //  TableB
        SingleOutputStreamOperator<TableB> bDS = env.socketTextStream("localhost", 9998)
                .map(line -> {
                    String[] strings = line.split(",");
                    return new TableB(strings[0],Integer.parseInt(strings[1]));
                });

        //  将流数据转换为表，并创建表名
        tableEnvironment.createTemporaryView("tableA",aDS);
        tableEnvironment.createTemporaryView("tableB",bDS);

        //  双流Join
        tableEnvironment.sqlQuery(" select * from tableA a join tableB b on a.id = b.id")
                .execute()
                .print();

        env.execute();

    }
}

Hive Catalog

public class FlinkSQL01_Catalog {
    public static void main(String[] args) throws Exception {

        //  获取运行时环境
        StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
        env.setParallelism(1);
        StreamTableEnvironment tableEnvironment = StreamTableEnvironment.create(env);

        //  创建HiveCatalog
        //  名称 - 库名 - 配置信息路径
        HiveCatalog hiveCatalog = new HiveCatalog("myclusterHive", "default", "input");

        //  注册Catalog
        tableEnvironment.registerCatalog("myclusterHive",hiveCatalog);

        //  使用Catalog
        tableEnvironment.useCatalog("myclusterHive");

        //  执行SQL，操作Hive数据
        tableEnvironment.executeSql("show tables")
                .print();

    }
}