- 博客(2)
- 收藏
- 关注
原创 优化java代码远程提交spark任务到yarn的方法
在利用spark-yarn jar包中的submitApplication方法将spark 任务远程提交到yarn 上的过程中,程序会将spark任务所用到的jar 包 上传至hdfs的某个暂存目录中。每次提交任务 ,程序都会将spark 用到的所有jar 包都上传至hdfs的某个暂存目录中,而且每次上传的hdfs 目录都不同(暂存目录路径和applicationId有关),随着提交任务的增多,hdfs 上的文件就会越来越多,最终导致hdfs 上小文件过多 ,影响hdfs 集群的正常运行。
2023-08-05 17:43:00 434
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人