Spark涉及的设计模式-创建型-原型模式
定义
使用原型实例指定创建对象的种类,并通过拷贝这些对象的原型创建新的对象。
使用
原型模式主要用于对象的复制,无论时java和scala都会提供一个Cloneable接口。他们的左右只有一个,就是实现了该接口之后可以调用对象的clone方法。
其实scala的cloneable接口也是继承的java的cloneable的接口。
package scala
/**
* Classes extending this trait are cloneable across platforms (Java, .NET).
*/
trait Cloneable extends java.lang.Cloneable
使用该模式复制对象的时候不会调用对象的构造方法,他是通过native方法完成的,直接在内存中复制数据,而且它可以无视你的private权限。值得注意的是clone方法虽然可以复制对象,但是它默认的复制仅仅是浅拷贝,如果想要深拷贝就需要将原型中的数组、引用等非基本类型的对象自行拷贝。
原型模式在Spark中的应用
那么在spark中如何使用到了原型模式呢?那就是SparkConf类
class SparkConf(loadDefaults: Boolean) extends Cloneable with Logging with Serializable
而且它还覆写了clone方法,可以看到它的调用内容为手动创建一个SparkConf对象,但是不从Java system properties里面加载各种变量的值,而是从本地拷贝变量的值。最后返回这个引用。
虽然上文说到clone调用的时java的native方法不会经过构造函数,但是这里覆写之后就会经过构造函数了。
/** Copy this object */
override def clone: SparkConf = {
val cloned = new SparkConf(false)
settings.entrySet().asScala.foreach { e =>
cloned.set(e.getKey(), e.getValue(), true)
}
cloned
}