大数据-Flink
DSH12138
这个作者很懒,什么都没留下…
展开
-
流式数据计算
做流式数据处理有一段时间了,Flink、Spark Streaming或者一些未开源的厂内计算框架都用过,简单写一写流处理相关的思想总结吧。 流处理思想 不管是微批还是纯流,思想不同,不仅框架底层处理方式不同,在代码中处理过程也有很大的不同。比如:Spark Streaming采用微批的思想,实际数据处理时,面向的处理对象是一个数据集,对这个数据集的操作方式就有点像原创 2021-09-06 23:13:53 · 188 阅读 · 0 评论 -
Flink-KeyedProcessFuntion中ValueState<Boolean>与Boolean的区别
Flink-KeyedProcessFuntion中ValueState<Boolean>与Boolean的区别 背景 在项目开发中,遇到如下场景:将数据按照业务逻辑分组,接下来的所有计算以组为单位;当第一条数据传入时,以当前数据的时间对应天的结束时间为定时触发时间,做定时。下一次的定时与上一次定时的时间间隔为86400s; 数据结构与备用数据 /** * @author DSH12138 * @since 2020-11-02 * 原始数据结构 * */ @Data @NoArgsConst原创 2020-11-02 17:16:56 · 329 阅读 · 0 评论