Spark 易错

1.lazy
spark从driver->executor，对象必须可序列化。
如果某个函数的计算方式比较耗费性能，我们可以将函数结果存为lazy的属性值。
但如果这个属性是不可序列化的，则可设置为lazy，将其传到executor再加载这个属性。
但这样使用要非常小心，因为如果在driver不小心初始化了这个属性值，传到executor就会报错，这个错误是在编译阶段无法发现的，只有在实际运行时才能发现。