Spark优化
1.资源优化
搭建集群
在Spark安装路径下 spark/conf/spark-env.sh配置:
SPARK_WORKER_CORES=XXX
SPARK_WORKER_MEMORY=XXX
2.提高并行度
sc.textFile(xx,minnum)
sc.parallelize(xx,num)
sc.makeRDD(xx,num)
sc.parallelizePairs(List<Tuple2<xx,xx>>,num)
RDD的算子: repartition(num)、coalesce(num)、reduceByKey(num)、join(num)、groupByKey(num)、distinct(num)
rdd.partitionBy 自定义分区器
3.代码优化
避免创建重复的RDD
对多次使用的RDD持久化
尽量避免使用shuffle类的算子
广播变量+map类的算子 代替Join
尽量使用map端有预聚合(map-combine)的算子
1)减少map端shuffle落地数据量
2)减少reduce端拉取的数据量
3)减少节点之间传输的数据量
reduceByKey,aggregateByKey,combinerByKey
使用高性能的算子
1) 使用reduceByKey代替groupByKey
2) 使用mapPartitions代替map
3) 使用foreachPartitions代替foreach
4) 对RDD大量过滤数据之后使用repartition/coalesce减少分区
mapPartitionsToPair/flatMapPartitionsToPair
优化数据结构
在编写Spark的代码时,尽量保持以下三个原则:
1) 尽量使用原生的数据类型代替字符串。
2) 尽量使用字符串代替对象。
3) 尽量使用数组代替Map集合。
使用Kryo序列化方式
SparkConf.set(“spark.serializer”,
“org.apache.spark.serializer.KryoSerializer”).
registerKryoClasses(new Class[]{SpeedSortKey.class})
4.数据本地化调优
spark.locality.wait.process 3s
spark.locality.wait.node 3s
spark.locality.wait.rack 3s
5.Shuffle调优
spark.reducer.maxSizeInFlight 48M
reduce端一次拉取数据的量,可以设置多一些,减少节点之间数据的拉取次数。
spark.shuffle.io.maxRetries 3
task在节点之间拉取数据尝试重试的次数,可以设置多一些,减少由于网络延迟或者数据所在节点Executor JVM 等待GC导致的失败。
spark.shuffle.io.retryWait 5s
task拉取数据默认task失败的等待间隔。
spark.shuffle.sort.bypassMergeThreshold
如果数据shuffle过程中不需要map端的聚合,只是将数据分散,可以使用bypass机制,默认这个参数是200。当Spark应用程序reduce task个数小于等于这个值时才会采用bypass机制,如果reduce task 个数大于这个值,可以设置这个参数大一些,使用bypass机制。
6.内存调节
统一内存中,降低spark.memory.fraction参数值,默认是0.6,如果Spark应用程序中对RDD的缓存要求不高,或者shuffle数据量不大,可以降低这个参数给task运行足够的内存。
7.堆外内存调节
yarn下:
--conf spark.yarn.executor.memoryOverhead=2048 单位M
standalone下:
--conf spark.executor.memoryOverhead=2048单位M
8.数据倾斜
1) 使用Hive ETL解决数据倾斜
2) 过滤少数倾斜的key
3) 增加并行度
4) 双重聚合方式解决数据倾斜
5)将reduce Join转换成map Join
普通的join是会走shuffle过程的,而一旦shuffle,就相当于会将相同key的数据拉取到一个shuffle read task中再进行join,此时就是reduce join。但是如果一个RDD是比较小的,则可以采用广播小RDD全量数据+map算子来实现与join同样的效果,也就是map join,此时就不会发生shuffle操作,也就不会发生数据倾斜。
6)采样倾斜key并分拆join操作
与第四种方式类似,采用将倾斜的key增加随机前缀的方式
到这里,Spark在大数据方面的应用就差不多结束了,希望对大家在使用spark开发的过程中能有所帮助,Spark MLlib 在机器学习方面的应用之后在分享机器学习的时候再来分享。