大数据
文章平均质量分 61
qq_22080429
这个作者很懒,什么都没留下…
展开
-
优化java代码远程提交spark任务到yarn的方法
在利用spark-yarn jar包中的submitApplication方法将spark 任务远程提交到yarn 上的过程中,程序会将spark任务所用到的jar 包 上传至hdfs的某个暂存目录中。每次提交任务 ,程序都会将spark 用到的所有jar 包都上传至hdfs的某个暂存目录中,而且每次上传的hdfs 目录都不同(暂存目录路径和applicationId有关),随着提交任务的增多,hdfs 上的文件就会越来越多,最终导致hdfs 上小文件过多 ,影响hdfs 集群的正常运行。原创 2023-08-05 17:43:00 · 391 阅读 · 0 评论 -
CDH集群 未知运行状况的解决方法
CDH集群 未知运行状况的解决方法原创 2022-12-07 11:03:39 · 1057 阅读 · 0 评论