超级会员免费看
本文介绍了Spark中的闭包概念，解释了为何需要进行闭包清理以避免不必要的网络带宽消耗和序列化问题。ClosureCleaner类在运行时清理闭包中的无用引用，减少序列化开销，并防止不可序列化异常。通过调用`sc.clean`方法，Spark确保闭包安全有效地在网络中传输。
什么是spark闭包？
我的理解：函数可以访问函数外面的变量，但是函数内对变量的修改，在函数外是不可见的。
计算机中的理解：在计算机科学中，闭包（Closure）是词法闭包（Lexical Closure）的简称，是引用了自由变量的函数。 这个被引用的自由变量将和这个函数一同存在，即使已经离开了创造它的环境也不例外。 所以，有另一种说法认为闭包是由函数和与其相关的引用环境组合而成的实体。 闭包在运行时可以有多个实例，不同的引用环境和相同的函数组合可以产生不同的实例。
为什么要进行闭包清理？
在spark的RDD中的transform操作算子中，总会调用sc.clean操作。当Scala构造一个闭包时，它确定闭包将使用哪些外部变量，并将它们的引用存储在闭包对象中。这允许封闭工作正常，即使它从不同的范围被调用时也是如此。
Scala-2.10-x以下的版本有时在捕捉太多外部变量方面犯了错误（参见SI-1
订阅专栏 解锁全文
扫一扫
6799
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
