Flink
文章平均质量分 86
fseast
这个作者很懒,什么都没留下…
展开
-
Flink解决问题——Flink从指定的CheckPoint路径恢复任务由于NameNode的standby报错
目录概述解决概述Flink有个流处理的任务一直运行着,程序用到了State,而且每次结果都得依赖前面的State,所以程序重新启动要指定CheckPoint或者SavePoint的恢复路径,配置了状态后端为RocksDBStateBackend,路径为:hdfs:///flink/checkpoints/pack-download-streaming,前面几次程序出现问题都能直接从上次CheckPoint保存的路径恢复状态。这次程序挂了,然后HDFS的NameNode的Active也从原来的110节点原创 2020-07-13 15:40:20 · 2885 阅读 · 0 评论 -
Flink实时计算状态编程案例——实时统计当天下载量排名(Java实现)
一、需求简单概述 1. 原因: 估计看到这篇文章的人都会觉得统计每天的下载量排名这个需求听起来就是T+1的离线批处理需求,其实我也是这么觉得的,所以为什么要写这个呢?因为这不是我说的算的,反正上面就给这么个需求。。。其实这是以前的需求,以前是实时统计的需求,但是排名什么的是在后期的接口通过读取数据库的数据进行实现的,现在就觉得通过接口来获取数据库的数据进行排序什么的效率比较低,就希望直接把排序结果直接写到数据库中。这也是为什么平常我比较习惯用Scala去写Spark和Flink,而这次使用Java编原创 2020-05-14 00:39:30 · 2752 阅读 · 0 评论