- 博客(2)
- 收藏
- 关注
RSS订阅原创 优化java代码远程提交spark任务到yarn的方法
在利用spark-yarn jar包中的submitApplication方法将spark 任务远程提交到yarn 上的过程中，程序会将spark任务所用到的jar 包 上传至hdfs的某个暂存目录中。每次提交任务 ，程序都会将spark 用到的所有jar 包都上传至hdfs的某个暂存目录中，而且每次上传的hdfs 目录都不同（暂存目录路径和applicationId有关），随着提交任务的增多，hdfs 上的文件就会越来越多，最终导致hdfs 上小文件过多 ，影响hdfs 集群的正常运行。
2023-08-05 17:43:00
391
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人