- 博客(3)
- 收藏
- 关注
RSS订阅转载 spark checkpoint详解
转载地址：https://www.cnblogs.com/superhedantou/p/9004820.htmlcheckpoint在spark中主要有两块应用：一块是在spark core中对RDD做checkpoint，可以切断做checkpoint RDD的依赖关系，将RDD数据保存到可靠存储（如HDFS）以便数据恢复；另外一块是应用在spark streaming中，使用checkp...
2019-01-16 17:06:19
1936
转载 Spark Streaming-Checkpoint机制
转载地址：https://blog.csdn.net/anbang713/article/details/82047980一 概述每一个Spark Streaming应用，正常来说都是要7 * 24小时运转的，这就是实时计算程序的特点。因为要持续不断的对数据进行计算。因此对实时计算应用的要求，应该是必须要能够对与应用程序逻辑无关的失败，进行容错。如果要实现这个目标，Spark Stre...
2019-01-16 17:03:47
463
1
转载 Java中PriorityQueue详解
转载地址：https://www.cnblogs.com/Elliott-Su-Faith-change-our-life/p/7472265.htmlJava API 地址：https://docs.oracle.com/javase/8/docs/api/Java中PriorityQueue通过二叉小顶堆实现，可以用一棵完全二叉树表示。本文从Queue接口函数出发，结合生动的图解，深入...
2019-01-16 16:52:50
1804
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人