Spark算子使用外部变量的优化

第一、使用FastUtil改写外部变量，FastUtil拓展了java的标准集合，它可以提供更小的内存占用以及更快的存取速度。FastUtil的每一种集合类型，都实现了java的对应接口，可以直接用来替换已有代码中的对应集合。
第二、使用BroadCast广播变量到Executor，使每一个Executor有一份数据副本，executor内部task共享这个副本（未广播的变量在每个task中存在一份副本），加大网络传输速度，同时减少内存消耗。需要注意的是BroadCast广播的变量是只读的，也就是说只能在driver端修改，executor端读取。
第三、使用Kryo替代spark默认的java序列化，提升序列化的性能和效率。