spark性能调优(三):磁盘

一、磁盘的功能

• 在Shuffle的时候,会从缓冲区溢出临时文件到磁盘
• 溢出的临时文件会最终归并,形成Shuffle中间文件
• 缓存分布式数据集,凡是带DISK的存储模式,都会把内存中放不下的数据放到磁盘
• 这些文件都会存储到spark.local.dir参数对应的文件系统目录中

二、磁盘调优

1、上述三种文件都会存储到spark.local.dir配置的路径中,spark.local.dir可以配置到SSD或其它访问效率更高的存储系统中,可以显著的提高I/O性能
2、磁盘复用

• 磁盘复用指的是Shuffle Write阶段产生的中间文件被多次计算重复利用的过程。在没有RDD Cache的情况下,一旦某个计算环节出错,就会触发整条DAG从头至尾重新计算,这其实是不准确的,失败重试的源头不是整条DAG的"头",而是与触发点距离最近的Shuffle中间文件,因此磁盘复用可以缩短失败重试的路径,在保障作业稳定性的同时提升执行性能

未完待续