flink
文章平均质量分 96
不懂一休
这个作者很懒,什么都没留下…
展开
-
Flink 定时加载数据源
flink 自定义实时数据源使用流处理比较简单,比如 Kafka、MQ 等,如果使用 MySQL、redis 批处理也比较简单如果需要定时加载数据作为 flink 数据源使用流处理,比如定时从 mysql 或者 redis 获取一批数据,传入 flink 做处理,如下简单实现注意 flink 好多包从 1.15.0 开始不需要指定 Scala 版本,内部自带下面 pom 文件有 flink 两个版本 1.16.0 和 1.12.7(Scala:2.12)三、自定义数据源使用 Timer 定时任务(当然原创 2023-03-11 09:00:00 · 5271 阅读 · 2 评论 -
docker 搭建 flink 并上传任务
1.16.0-scala_2.12-java8 镜像版本说明,flink 1.16.0,flink 内置 scala 版本 2.12,Java 版本 8。如下两个容器启动成功,可以看到 web 端口为 18081,taskmanager 启动一个,包含 5 个任务槽。如下:注意运行需要设置启动参数,否则启动会找不到类,因为 pom.xml 文件 flink 相关包都添加了。打包项目:可以在 pom.xml 修改启动类,也可以在命令启动或者 ui 界面上传设置启动类参数。下面代码用来统计单词出现的的次数。原创 2023-02-23 16:27:00 · 13070 阅读 · 5 评论