spark的shuffle相关参数调优
1.spark.shuffle.file.buffer
默认是32K
该参数用于设置shuffle write task 的BufferedOutputStream的buffer缓冲大小,将数据写到磁盘文件,在内存作业资源充足的情况下,可以调为64K
2.spark.reduce.maxSizeInFlight
默认值:48M
该参数用于设置shuffle read task的buffer缓冲大小...
原创
2018-12-04 16:56:45 ·
517 阅读 ·
0 评论