flink 基础demo[一] flink sql 连接kafka demo

        使用ddl 用flink 创建表很简单,例子很多,阿里云文档相对通俗易懂,我贴在下面:

创建消息队列Kafka源表 - 实时计算Flink版 - 阿里云

        但是平平无奇的语句,怎么能难得懂踩坑小天才,我设置的kafka发送时间太长了,导致checkpoint不合适。通过设置拯救自己。

  EnvironmentSettings settings = EnvironmentSettings.newInstance()
                .inStreamingMode().useBlinkPlanner().build();
        TableEnvironment tEnv = TableEnvironment.create(settings);
        // TableEnvironment tableEnv = TableEnvironment.create(settings);
        Configuration configuration = tEnv.getConfig().getConfiguration();

        configuration.setString("table.exec.mini-batch.enabled", "true");
        configuration.setString("table.exec.mini-batch.allow-latency", "5 s");
        configuration.setString("table.exec.mini-batch.size", "50");
        configuration.setString("table.dml-sync", "false");
        configuration.setString("execution.checkpointing.interval", "10 s");

        // 3.文件path
        String filePath = "172.17.0.1:9092";
        String filePath1 = "172.17.0.1:2181";
        String topic="testflink";
        String group_id="testcccc";
        String startup="latest-offset";

        String ddl = "create table mytest1 (\n" +
        " id Int,\n" +
        " hf Double,\n" +
        "proctime AS PROCTIME()\n" +
        ") WITH (\n" +
        " 'connector' = 'kafka',\n"+
        "'scan.startup.mode'='earliest-offset',\n"+
        " 'topic' = '"+topic+"',\n" +
        " 'properties.bootstrap.servers' = '"+filePath+"',\n" +
        " 'properties.zookeeper.connect' = '"+filePath1+"',\n" +
                "'json.ignore-parse-errors'='false',\n"+
        " 'format' = 'json" + "'\n" +
        ")";


        // 5.创建一个带eventtime字段的表
        tEnv.executeSql(ddl);

        // 6.一段sql语句
        String sql  = "SELECT id,hf,proctime " +
                "  FROM mytest1 \n";
        // 6.执行该sql
        Table table = tEnv.sqlQuery(sql);
//         输出方式1
        TableResult ss=table.execute();
        ss.print();

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值