Flink sql 基于hbase，mysql的维表实战 -未完

最新推荐文章于 2024-11-04 18:05:23 发布

黄瓜炖啤酒鸭

最新推荐文章于 2024-11-04 18:05:23 发布

阅读量3.1k

点赞数 1

分类专栏： Flink实时数仓文章标签： Flink 维表join hbase维表报错

本文链接：https://blog.csdn.net/qq_31866793/article/details/106517976

版权

本文介绍了使用Flink SQL操作HBase和MySQL作为维表的实战经验，强调了从Kafka加载数据、基础的MySQL读取以及在HBase表JOIN过程中遇到的报错问题。在创建HBase DDL时，不能使用`SELECT *`，这是一个需要注意的坑。

摘要由CSDN通过智能技术生成

目前需要用到维表数据，所以选择hbase和mysql作为维表数据存储，目前主要考虑参考官网。

不知道依赖的，可以去参考官网，或者链接别人的代码。

还有此人的博客地址（我称之为白斩鸡兄），典型的干货多博客不火。

https://blog.csdn.net/weixin_47482194/article/details/105854970

github的传送门：https://github.com/lonelyGhostisdog/flinksql

大概率这个文章也是参考官网跟他的文章写的，当然都得自己去实践的，不实践怎么发现问题学习呢？

1）sql加载kafka的数据

StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
env.setParallelism(1);
EnvironmentSettings blinkStreamSettings = EnvironmentSettings.newInstance()
        .useBlinkPlanner()
        .inStreamingMode()
        .build();
StreamTableEnvironment blinkStreamTableEnv = StreamTableEnvironment.create(env, blinkStreamSettings);

String ddlSource = "CREATE TABLE source_kafka (\n" +
        "    order_key STRING ," +
        "    order_number STRING ," +
        "    company_code STRING , " +
        "    ts BIGINT," +
        "    proctime AS PROCTIME()  " +

        ") WITH (\n" +
        "    'connector.type' = 'kafka',\n" +
        "    'connector.version' = '0.11',\n" +
        "    'connector.topic' = 'test_window_01',\n" +

最低0.47元/天解锁文章