Flink通过读取sql语句，执行代码

最新推荐文章于 2024-08-20 08:59:00 发布

黄瓜炖啤酒鸭

最新推荐文章于 2024-08-20 08:59:00 发布

阅读量2.7k

点赞数 1

分类专栏： Flink 文章标签：大数据 flink

本文链接：https://blog.csdn.net/qq_31866793/article/details/108975103

版权

本文介绍了如何使用Flink通过SQL语句从Kafka读取数据并写入MySQL。首先，创建一个简单的SQL配置文件，然后在主类中指定SQL文件路径并执行。这种方法允许开发人员只需编写SQL，通过代码远程提交任务到Flink集群，避免了打包过程。

摘要由CSDN通过智能技术生成

参考：http://wuchong.me/blog/2019/09/02/flink-sql-1-9-read-from-kafka-write-into-mysql/

参考：https://github.com/wuchong/flink-sql-submit

1）做一个最简单的sql配置文件

-- -- 开启 mini-batch
-- SET table.exec.mini-batch.enabled=true;
-- -- mini-batch的时间间隔，即作业需要额外忍受的延迟
-- SET table.exec.mini-batch.allow-latency=1s;
-- -- 一个 mini-batch 中允许最多缓存的数据
-- SET table.exec.mini-batch.size=1000;
-- -- 开启 local-global 优化
-- SET table.optimizer.agg-phase-strategy=TWO_PHASE;
--
-- -- 开启 distinct agg 切分
-- SET table.optimizer.distinct-agg.split.enabled=true;


-- source
CREATE TABLE user_log (
    user_id