flink
flink
北斗星的城堡
这个作者很懒,什么都没留下…
展开
-
flink之自定义Sink(写入redis为例)
官网有直接写入redis的依赖,我们不用,用自定义sink的方式写入redis。通过富函数创建和关闭连接。原创 2023-07-20 10:37:58 · 268 阅读 · 0 评论 -
flink之通过jdbc将数据写入mysql
【代码】flink之通过jdbc将数据写入mysql。原创 2023-07-19 17:49:38 · 446 阅读 · 0 评论 -
flink之topN的多个解法
方法三:(最优解)keyby url,开窗求各自url浏览量(该代码还有一点瑕疵:求top2的过程中,如果10s只有一个url或者没有url访问,get(i)就会出现空指针异常,可自行解决)方法四:自己造窗口(自己算窗口开始时间和定时器触发时间)需求改动一下:求每5s热门top2访问的url。方法一:在keyBy之前开窗(使用ProcessAllWindowFunction)方法二:keyBy一个常量再开窗(使用KeyedProcessFunction)原创 2023-08-02 11:45:43 · 419 阅读 · 0 评论 -
flink之重分区算子
当Flink提供的所有分区策略都不能满足用户的需求时,我们可以通过使用partitionCustom()方法来自定义分区策略。//todo 1.获取流的执行环境//todo 2.从端口读取数据//todo 3.使用map将读取的数据转为WaterSensor@Override//将上游数据打印,看看数据去往上游数据的哪个分区(上游有2个分区)result.print("原始数据").setParallelism(2);原创 2023-07-19 14:22:50 · 283 阅读 · 0 评论 -
flink之max与maxBy的区别
/聚合算子需要做keyBy变成keyedStream之后才能调用。原创 2023-07-18 15:26:52 · 84 阅读 · 1 评论 -
flink之分区和分组的区别(模拟上游两个分区向下游四个分区发送数据)
总结:相同key的数据必然在同一个分区,一个分区中可能有多个不同的key,一个分组中的key必然是相同的,一个分区可能有多个不同的分组,分组是逻辑上的划分,分区是物理上的划分。原创 2023-07-18 14:38:25 · 138 阅读 · 1 评论 -
flink之keyBy源码解析
原创 2023-07-18 14:50:33 · 57 阅读 · 1 评论 -
flink之自定义Source
【java代码】flink之自定义Source。原创 2023-07-18 11:45:40 · 173 阅读 · 1 评论