![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
flink
文章平均质量分 84
王糍粑的小夕
这个作者很懒,什么都没留下…
展开
-
使用java远程提交flink任务到yarn集群
由于业务需要,使用命令行的方式提交flink任务比较麻烦,要么将后端任务部署到大数据集群,要么弄一个提交机,感觉都不是很离线。经过一些调研,发现可以实现远程的任务发布。接下来就记录一下实现过程。这里用flink on yarn 的Application模式实现。原创 2024-05-13 18:11:56 · 1028 阅读 · 3 评论 -
Flink on k8s 入门实战
最近一直在学习flink on k8s,踩了不少坑,折腾了好几天,终于是达到了自己想要的效果。首先说一下,我要实现的效果是什么?原创 2024-04-29 18:32:05 · 989 阅读 · 0 评论 -
flink1.17—关于 join 的测试
Regular Joins 使用时要注意ttl 设置。interval join 的时间区间取决于日志的真实情况:设置大了容易造成任务的 state 太大,并且时效性也会变差。设置小了,会导致数据丢失。所以在使用时建议先使用离线数据做一次测试,看看时间分布如何。例如:通过离线数据 join 并做时间差,发现 99% 的数据都能在时间戳相差 10min 以内 join 到,那么你就有依据去设置 interval 时间差为 10min。原创 2023-11-22 17:12:12 · 371 阅读 · 0 评论 -
flink1.17—关于TopN的测试
flink:1.17.1官网中有这样一段话,如下图翻译过来就是下面这样👇🏻官网中说到:外部存储的唯一键应该与TopN中的唯一键相同。接下来主要测试一下唯一键相同和不同所产生的效果创建一个mysql的结果表:live_user_rownumber。唯一键键同样为user_id+room_id+event+row_num在flinksql中创建表:2. 来一段TopN的sql。这个逻辑很简单,就是计算每个直播间每个用户最后一次心跳的时间。3. 来几条数据看看第一条第二条原创 2023-11-20 21:03:33 · 544 阅读 · 0 评论 -
flink关于watermark的测试
定义一个kafka的数据源WITH (根据计算字段event_time_watermark生成5秒延迟的watermark。原创 2023-11-16 15:46:53 · 150 阅读 · 0 评论