Scala
神之凝视
这个作者很懒,什么都没留下…
展开
-
Spark Streaming整合检查点与累加器/广播变量
一.简介无法从Spark Streaming中的检查点恢复累加器和广播变量。如果启用检查点并同时使用“ 累加器”或“广播变量” ,则必须为“累加器”和“广播变量”创建延迟实例化的单例实例, 以便在驱动程序发生故障重新启动后可以重新实例化它们。二.代码实现package org.apache.spark.examples.streamingimport java.io.Fileimport java.nio.charset.Charsetimport com.google.common.io.原创 2020-10-09 17:44:24 · 209 阅读 · 0 评论 -
Scala之闭包
一.简介闭包是一个函数,返回值依赖于声明在函数外部的一个或多个变量。闭包通常来讲可以简单的认为是可以访问一个函数里面局部变量的另外一个函数。如下面这段匿名的函数:val multiplier = (i : Int) => i * 10 函数体内有一个变量 i,它作为函数的一个参数。如下面的另一段代码:val factor = 3.14val multiplier = (i:Int) => i * factor在 multiplier 中有两个变量:i 和 factor。其中原创 2020-07-17 19:45:55 · 392 阅读 · 1 评论