spark
文章平均质量分 89
Wowfortune
这个作者很懒,什么都没留下…
展开
-
Spark Checkpointing 错误恢复
Checkpointing(检查点)A streaming application must operate 24/7 and hence must be resilient to failures unrelated to the application logic (e.g., system failures, JVM crashes, etc.). For this to be possibl翻译 2017-09-26 16:11:18 · 960 阅读 · 0 评论 -
SparkStreaming数据零丢失方案
场景分析Sparkstream读取kafka消息队列数据时,如果Sparkstream突然由于一些非代码原因挂掉,重启Spark集群如何能确保Sparkstream能不丢失kafka队列内的数据。主要利用了kafka集群的offset值。offset记录了kafka每个分区数据读取到了哪里,类似于游标。有三种解决方案操作offset:1.Checkpoints详情参考http://spark.apa原创 2017-09-27 14:01:46 · 2245 阅读 · 0 评论