spark的性能优化的方式

1. spark提供了两种序列化机制，Java的序列化和kryo序列化，使用kryo序列化占用更小的内存，但是kryo的缺点是：不是所有都能序列化，而且需要注册
2. 优化数据结构，比如优先使用数组和字符串，而不是集合
3. 对多次使用的rdd进行持久化和checkpoint（）
4. Java虚拟机的垃圾回收机制的调优，主要是调节新生代和老年代的大小和比例，通过配置参数来进行调节
5. 提高并行度 spark.default.parallism=60 建议是总cpu的数量*2到3倍，也可以在比如使用reduceByKey的时候在填上参数，该参数就是几个reduce任务并行执行，如：reduceByKey（5）
6. 使用广播变量，占用更少的资源 sc.broadcast(xxx)
7. 数据本地化 process_local ….
8. shuffle调优，最重要的，比如开启consolidateFile机制，文件缓存的大小，抓取的大小等等。