优化HDFS上/user/hadoop/.sparkStaging/目录输出

如月峰水

于 2023-08-16 16:35:51 发布

阅读量625

点赞数

文章标签： hadoop 大数据 hdfs spark

本文链接：https://blog.csdn.net/weixin_41162023/article/details/132322545

版权

问题需求：

我们的hdfs /user/hadoop/.sparkStaging/目录下有5000多个applications，占用几十个T，导致磁盘告警。经查看次目录很多已经运行结束的applications依赖环境仍然在占用hdfs存储。那么就得清理下这些无用的目录。

解决方式：

在spark-defaults.conf文件中添加配置：

spark.yarn.preserve.staging.files=false

含义：提交作业时的staged文件在application结束时进行删除

此配置只会在配置生效后提交的application有用，已经产生的stage文件仍然需要动手写脚本删除（但要注意不要删除正在运行的application目录）

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

如月峰水

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

记一次mr中途落盘数据丢失 hdfs超租约异常 Error: java.io.FileNotFoundException: File does not exist:

Direction_Wind的博客

01-31

1042

这种问题首先定位的是hdfs和hadoop基础环境的问题，因为不是稳定发生，概率也不确定，所以非常不好复现，但却关键时刻会发生给你一记背刺，最关键的是失败了他会判定为成功，你就算监控都监控不到，就很让人麻。将DataNode max data transfer threads 参数从16401 翻倍解决问题。现象为：mr任务偶尔中途失败，但执行结果yarn会判定为成功，具体可以看日志报错。

Spark Streaming 数据清理机制

weixin_43520450的博客

06-04

814

一、DStream 和 RDD 我们知道Spark Streaming 计算还是基于Spark Core的，Spark Core 的核心又是RDD。所以Spark Streaming 肯定也要和RDD扯上关系。然而Spark Streaming 并没有直接让用户使用RDD而是自己抽象了一套DStream的概念。 DStream 和 RDD 是包含的关系，你可以理解为Java里的装饰模式，也就是DStream 是对RDD的增强，但是行为表现和RDD是基本上差不多的。都具备几个条件：（1）具有类似的tr

参与评论您还未登录，请先登录后发表或查看评论

基于HDFS的SparkStreaming案例实战和原理浅析

coderlaw's study

04-19

5149

概要本节主要讲解在开发环境中编写SparkStreaming代码监控hdfs目录，实现实时wordCount计算。先通过Java方式演示过程，并在文末提供Scala版本代码。一、环境准备1.启动Hadoop集群 cd /usr/local/hadoop/hadoop-2.6.0/sbin/ ./start-dfs.sh //通过http://master:50070（50070为默认端口）查看d

Hadoop中Staging（客户端缓存）机制

很吵请安静

02-12

1711

客户端创建文件的请求其实并没有立即发送给 NameNode，事实上，在刚开始阶段 HDFS 客户端会先将文件数据缓存到本地的一个临时文件。应用程序的写操作被透明地重定向到这个临时文件。当这个临时文件累积的数据量超过一个数据块的大小，客户端才会联系 NameNode。 NameNode 将文件名插入文件系统的层次结构中，并且分配一个数据块给它。然后返回 DataNode 的标识符和目标数据块...

Hadoop文件上传时的Staging缓存机制

很吵请安静

01-14

1958

客户端创建文件的请求其实并没有立即发送给NameNode，事实上，在刚开始阶段 HDFS客户端会先将文件数据缓存到本地的一个临时文件。应用程序的写操作被透明地重定向到这个临时文件。当这个临时文件累积的数据量超过一个数据块的大小，客户端才会联系NameNode。NameNode将文件名插入文件系统的层次结构中，并且分配一个数据块给它。然后返回 DataNode的标识符和目标数据块给客户端。接着客

YARN 作业 Staging目录的用途及配置

MAYIBO—BG的专栏

12-17

5097

目录staging目录的用途MapReduce作业staging的配置示例Spark 作业Staging目录的配置示例 staging目录的用途关于staging目录可能很多人都不太会关注，毕竟日常运行作业也用不到这些配置。不过了解它对于我们理解作业的执行流程也是有所帮助的，比如我们都会使用hadoop jar 或 spark-submit等命令来提交一个MR或Spark作业，然后我们就会看到在集群的某些计算节点上启动executor(MapRedece对应的是mapper和reducer)来执行任务。这

Failed to cleanup staging dir hdfs://hadoop01:8020/user/root/.sparkStaging/application_1685171183874_0004

最新发布

05-28

手动清理 `/user/root/.sparkStaging` 目录中的文件，可以使用命令 `hdfs dfs -rm -r /user/root/.sparkStaging/*` 来清理该目录中的所有文件。 4. 检查网络连接检查网络连接是否正常，如果网络连接不稳定或者存在...

hdfs java关闭安全模式,hadoop hdfs block丢失导致自动进入安全模式Safe mode will be turned off automatically...

weixin_28668743的博客

03-13

1153

因磁盘空间不足，内存不足，系统掉电，删除节点等等原因导致block损坏，dataNode丢失。系统自动进入安全模式。并出现如下异常信息：2018-12-0710:10:52WARNClient:87-Failedtocleanupstagingdirhdfs://master:9000/user/root/.sparkStaging/application_154414821...

hadoop上传文件时WARN hdfs.DFSClient: DataStreamorg.apache.hadoop.ipc.RemoteException(java.io.IOException)

IT_NEU_Lee的博客

09-15

3468

安装好Hadoop后一直没有用今天往hdfs上传文件的时候突然出现如下bug,翻看别人的博客和相关查找后发现是自己当时可能使用了两次hadoop namenode -format 命令 hadoop dfs -put ~/words.txt /test DEPRECATED: Use of this script to execute hdfs command is depreca...

spark任务远程提交到yarn的两种方式

m0_38130834的博客

10-30

5284

spark任务提交到yarn源码解析和集成

hive on spark 资源占用不释放

叁木大数据

04-24

3675

hive on spark 资源占用不释放一、环境描述二、描述2.2 问题2.3 现象三、解决3.1 过程3.2 解决一、环境描述 CDH: 5.14.2 Spark:1.6.0 (hive on spark没使用2.0+版本) Hue:3.9.0 hive:1.1.0 二、描述 2.2 问题由于公司查询使用的hue,hue上有impala & hive 。在做大数据量测试和查询的时候impala 会出现内存不足的情况，所以测试人员&分析师偶尔还是会使用hive（底层是spark ）去

spark执行优化——依赖上传到HDFS(spark.yarn.jar和spark.yarn.archive的使用)

OMars的博客

12-01

7428

一、简述使用yarn的方式提交spark应用时，在没有配置spark.yarn.archive或者spark.yarn.jars时，看到输出的日志在输出Neither spark.yarn.jars nor spark.yarn.archive is set；一段指令后，会看到不停地上传本地jar到HDFS上，内容如下，这个过程会非常耗时。可以通过在spark-defaults.conf配置里添加spark.yarn.archive或spark.yarn.jars来缩小spark应用的启动时间。 Wi

Spark On YARN内存分配

lulynn的博客

09-02

1968

http://blog.javachen.com/2015/06/09/memory-in-spark-on-yarn.html 非常好的文章，推荐。本文主要了解Spark On YARN部署模式下的内存分配情况，因为没有深入研究Spark的源代码，所以只能根据日志去看相关的源代码，从而了解“为什么会这样，为什么会那样”。说明按照Spark应用程序中的driver分布方式不同

Spark 各种部署模式实验

zhixingheyi_tian的博客

08-29

1031

Yarn cluster driver 端，在nodemanager 里 AM 进程里 driver 端 stdout

要切换到hdfs用户下运行jar

万里长城永不倒的博客

02-18

3458

root用户下运行命令 hadoop jar '/tmp/hadoop-0.0.1-SNAPSHOT.jar' 产生异常 17/02/17 21:03:38 WARN security.UserGroupInformation: PriviledgedActionException as:root (auth:SIMPLE) cause:org.apache.hadoop.mapredu

spark-01_java.io.FileNotFoundException_File does not exist_hdfs_xxx

Welcome to Feng.Chang's Blog

12-03

2506

文章目录refs一、错误日志二、日志详情三、运行脚本以及代码3.1、运行脚本3.2、代码片段四、问题排查及原因五、注意事项 refs https://js.dlolb.ml/-----https://stackoverflow.com/questions/47157793/spark-runs-in-local-but-cant-find-file-when-running-in-yarn ht...

File does not exist: hdfs://localhost:9000/user/someone/.sparkStaging/application_1512614402012_0009