Flink最佳实践
1、流式计算引擎对比
2、热门商品统计
3、精准去重
江城子v3
当你的才华不足以支撑你的野心时,就要静下心来努力学习!
展开
-
3、Flink实时监控告警
3、Flink实时监控告警原创 2021-09-26 20:26:51 · 806 阅读 · 0 评论 -
0、流式计算引擎对比
Flink是标准的实时处理引擎,而Spark的两个模块Spark Streaming和Structured Streaming都是基于微批处理的,不过现在Spark Streaming已经非常稳定基本都没有更新了,然后重点转移到Spark SQL和Structured Streaming了。原创 2020-10-13 19:29:15 · 192 阅读 · 0 评论 -
1、Flink实时热门商品统计
TopN 是报表统计和大屏展示非常常见的功能,主要用来实时计算排行榜。流式的TopN可以使业务方在内存中按照某个统计指标(如出现次数)计算排名并快速发出更新后的排行榜。原创 2020-08-15 19:54:12 · 269 阅读 · 0 评论 -
2、Flink实时精准去重
去重计算是数据分析业务里常见的指标计算,如网站一天的访问用户数,离线计算是一个全量、一次性计算的过程通常可通过distinct的方式得到去重结果,而实时计算是一种增量、长期计算过程,在面对不同的场景,如数据量的大小、计算结果精准度等要求时可使用不同的方案。原创 2020-08-16 09:23:22 · 380 阅读 · 0 评论