spark
文章平均质量分 58
PavleLi
这个作者很懒,什么都没留下…
展开
-
累加器
累加器全局累加器 全局累加器 Accumulators(累加器) 是一个只支持 added(添加) 的分布式变量, 可以在分布式环境下保持一致性, 并且能够做到高效的并发. 原生 Spark 支持数值型的累加器, 可以用于实现计数或者求和, 开发者也可以使用自定义累加器以实现更高级的需求 val config = new SparkConf().setAppName("ip_ana").setMaster("local[6]") val sc = new SparkContext(config) val原创 2021-05-06 11:48:22 · 1564 阅读 · 0 评论 -
Spark闭包
Spark闭包 闭包的作用可以理解为:函数可以访问函数外部定义的变量,但是函数内部对该变量进行的修改,在函数外是不可见的,即对函数外源变量不会产生影响。 //闭包示例 def fun(x : Int) = (y : Int) => { var i = 0 def insideFun() = { i = 1 //函数内访问函数外部定义的变量,并修改 println(i) } println(i) insideFun() //原创 2021-05-05 22:30:57 · 135 阅读 · 0 评论