closules的理解:“An object is data with functions. A closure is a function with data.” — John D. Cook
那么scala的closure 怎么样转换为java obect的了?
https://stackoverflow.com/questions/2670350/how-are-scala-closures-transformed-to-java-objects
内存模型建议参考:http://www.jianshu.com/p/8f24150fad2a
普通的fuction 直接在stack 中保存变量就好,而closures需要在heap区保存变量。
Spark对闭包序列化前,会通过工具类org.apache.spark.util.ClosureCleaner尝试clean掉闭包中无关的外部对象引用,ClosureCleaner对闭包的处理是在运行期间,相比Scala编译器,能更精准的去除闭包中无关的引用。这样做,一方面可以尽可能保证闭包可被序列化,另一方面可以减少闭包序列化后的大小,便于网络传输。