checkpoint

最新推荐文章于 2024-03-27 00:13:41 发布

小黄鸭and小黑鸭

最新推荐文章于 2024-03-27 00:13:41 发布

阅读量383

点赞数

分类专栏：大数据生态圈 spark学习笔记

本文链接：https://blog.csdn.net/qq_29721419/article/details/82353395

版权

大数据生态圈同时被 2 个专栏收录

21 篇文章 1 订阅

订阅专栏

spark学习笔记

8 篇文章 0 订阅

订阅专栏

设置checkpoint存储目录，从最新的checkpoint恢复：

JavaStreamingContext ssc = JavaStreamingContext.getOrCreate(checkpointDirectory,
                ()-> createContext(ip,port,outputPath,checkpointDirectory));

createContext(String ip, int port, String outputPath, String checkpointDirectory)：

public static JavaStreamingContext createContext(String ip, int port, String outputPath, String checkpointDirectory) {

        //程序第一运行时会创建该条语句，如果应用程序失败，则会从checkpoint中恢复，该条语句不会执
        SparkConf sparkConf = new SparkConf().setAppName("RecoverableNetworkWordCount").setMaster("local");
        // Create the context with a 1 second batch size
        JavaStreamingContext ssc = new JavaStreamingContext(sparkConf, Durations.seconds(1));
        ssc.checkpoint(checkpointDirectory);

        return  ssc;
    }