Spark相关

1、Spark产生临时文件问题

spark产生两类临时文件，一种是work目录下的临时文件，另一种是/tmp下的*_lock,*_cache文件，前一种临时文件是spark运行程序时需要加载到内存中的数据。这两种文件不及时处理，能分分钟撑爆你的磁盘，对于work目录下的文件，只需在conf文件中加入export SPARK_WORKER_OPTS=”-Dspark.worker.cleanup.enabled=true”就能很好的处理，后一种就必须要人工定时去删了，可以写定时shell脚本，不过听说spark更高版本会对这个bug进行修复。

2、spark运行程序出现jvm溢出的情况

具体还不知道是什么原因，可能是跟每个driver设置的jvm大小有关。

3、spark自动删除临时文件

配置文件添加

export SPARK_WORKER_OPTS="-Dspark.worker.cleanup.enabled=true"