[Spark] Yarn local-dirs are bad 导致节点处于不健康状态

于 2021-01-26 21:14:23 发布
阅读量618 收藏 1
点赞数
分类专栏： 大数据-spark
本文为博主九师兄（QQ:541711153 欢迎来探讨技术）原创文章，未经允许博主不允许转载。
本文链接：https://blog.csdn.net/qq_21383435/article/details/113195580
版权
大数据-spark 专栏收录该内容
204 篇文章 480 订阅 ¥49.90 ¥99.00
订阅专栏
在运行Flink时遇到Yarn节点健康问题，报错源于`yarn.nodemanager.local-dirs`设置过于紧张。当数据读取与计算过程中内存不足，数据溢出至磁盘，导致90%的磁盘空间被占用。解决方案包括：杀死并重新提交任务，调整配置参数，优化RDD存储级别，代码逻辑优化，控制批处理速度，增加计算节点，及通过Ambari监控预防问题。
摘要由CSDN通过智能技术生成

在这里插入图片描述

1.背景

在运行flink的时候报错，参考：

然后在Yarn界面上看到如下

在这里插入图片描述

2.原因分析

之所以会有 local-dirs are bad，log-dirs are bad 报错，是因为在我们集群的 yarn-site.xml 里参数 yarn.nodemanager.disk-health-checker.max-disk-utilization-per-disk-percentage 的默认值是 90%，到达到这个值会触发上述报错。

  1. 客户的数据是存储在 Storage 里的，在进行计算之前需要将数据先读取到各个节点，客户在读取数据生成 RDD 之后对 RDD 的缓存采用的是 MEMORY_AND_DISK_2，也没有采用序列化的方式，也就是说如果内存存不下会存到本地磁盘，而且会存在不同的节点上存 2 份。
    2. <
了解本专栏 订阅专栏 解锁全文
九师兄
关注
专栏目录
订阅专栏
[Yarn] Yarn local-dirs are bad 导致节点处于不健康状态
九师兄
01-26 914
1.背景 在运行flink的时候报错，参考： 然后在Yarn界面上看到如下 2.原因分析 之所以会有 local-dirs are bad，log-dirs are bad 报错，是因为在我们集群的 yarn-site.xml 里参数 yarn.nodemanager.disk-health-checker.max-disk-utilization-per-disk-percentage 的默认值是 90%，到达到这个值会触发上述报错。 3.解决方法1 删除部分没用的数据 让磁盘已用容量下降到90%一下
spark-2.2.0-yarn-shuffle.jar
02-09
spark-2.2.0-yarn-shuffle.jar
遇到问题---hadoop----local-dirs are bad
直到世界的尽头
03-03 4242
遇到的问题 我们的hadoop集群在运作过程中部分节点报错local-dirs are bad 原因 hadoop集群硬盘目录默认的使用阈值是90% 空间不足，目录使用率超过阈值了90%了 解决方式 调整yarn的参数 yarn.nodemanager.disk-health-checker.max-disk-utilization-per-disk-percentage ...
yarn集群出现 unhealthy节点，local-dirs are bad: 解决办法
liuyanzheng的博客
05-07 2671
启动集群之后，没有资源，报错如下： 问题原因：yarn集群本地目录所在磁盘占用率超过了 的阈值 yarn集群默认允许本地磁盘占用率是 90%（值不确定了，可能是92%，我这里查看的时候是到了92%，节点不能用了） 解决办法：1、修改阈值到98%，非常不建议，指标不治本 2、清理磁盘。 df -hl 查看所有磁盘使用率--> du -h --max-depth=1 查看当前目录下最大的文...
转：遇到问题---hadoop----local-dirs are bad
12-03 623
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。 本文链接：https://blog.csdn.net/q383965374/article/details/79428818 遇到的问题 我们的hadoop集群在运作过程中部分节点报错local-dirs are bad 原因 hadoop集群硬盘目录默认的使用阈值是90% 空间不足，...
Hadoop YARN ERROR 1/1 local-dirs are bad *， 1/1 log-dirs are bad *
辉子的博客
07-16 1万+
查看 nodemanager 日志发下 如下信息 2015-07-16 15:28:58,643 WARN org.apache.hadoop.yarn.server.nodemanager.DirectoryCollection: Directory /opt/beh/data/yarn/nmlocal error, used space above thresho
spark-1.6.1-yarn-shuffle.jar
10-29
spark-1.6.1-yarn-shuffle.jar 下载。spark-1.6.1-yarn-shuffle.jar 下载。spark-1.6.1-yarn-shuffle.jar 下载。
spark-yarn_2.11-2.1.3-SNAPSHOT.jar
04-01
spark-yarn_2.11-2.1.3-SNAPSHOT.jar
spark-3.1.3-bin-hadoop3.2.tgz
05-19
在解压并安装"spark-3.1.3-bin-hadoop3.2.tgz"后，你需要配置环境变量，如SPARK_HOME，然后可以通过启动Master和Worker节点来建立Spark集群。对于单机测试，可以使用本地模式。使用Spark时，你可以编写Python、Scala...
spark-3.2.4-bin-hadoop3.2-scala2.13 安装包
最新发布
08-28
Spark与Hadoop的集成意味着它可以读取、写入HDFS中的数据，并且可以利用YARN（Hadoop的资源调度器）进行集群资源管理。这里使用的是Hadoop 3.2版本，该版本提供了更多性能改进和新功能，如更好的资源调度策略和对大...
YARN相关配置总结
10-24
最新整理版文档，帮助你在yarn配置上成功！
Why does Hadoop report “Unhealthy Node local-dirs and log-dirs are bad”?
Mrknowledge
05-25 1995
Question: In the health report, it provides the error: 1/1 local-dirs are bad: /tmp/hadoop-hduser/nm-local-dir; 1/1 log-dirs are bad: /usr/local/hadoop/logs/userlogs I've redone the whole p
Yarn上的不健康节点---UNHEALTHY nodes
weixin_34126215的博客
09-18 1976
2019独角兽企业重金招聘Python工程师标准>>> ...
Hadoop YARN ERROR 1/1 local-dirs are bad *， 1/1 log-dirs are bad *
weibin_6388的专栏
09-13 2637
Hadoop YARN ERROR 1/1 local-dirs are bad *， 1/1 log-dirs are bad * 标签： hadoopyarnnodemanager 2015-07-16 16:08 3800人阅读 评论(0) 收藏 举报  分类： hadoop（3）  版权声明：本文为博主原创文章，未经博主允许不得转载。
解决yarn启动之后，出现unhealthy，local-dirs are bad问题
Wangfulin07的博客
05-18 919
查看输出日志，发现 好像没啥东西，然后又看了http://localhost:8088/cluster/nodes/unhealthy 里面记录了。。local-dirs are bad:这些东西 查资料，最后解决了。 资料来源： https://www.edureka.co/community/29934/hadoop-unhealthy-node-local-dirs-and-log-dirs-are-bad You can increase the threshold in yarn-site.xm
hadoop Unhealthy Nodes问题解决
热门推荐
lazythinker的专栏
08-21 1万+
1、问题来源 前几天因为一个hive SQL的问题，导致其中一台机器的磁盘空间不足，删除临时文件解决了空间不足的问题； 查看http://hadoop/cluster/nodes/unhealthy 发现出现了一个unhealty节点，错误信息如下 1/1 local-dirs turned bad: /usr/local/goldmine/hadoop/tmp/nm-local-dir;1
Hadoop YARN: 1/1 local-dirs are bad: /var/lib/hadoop-yarn/cache/yarn/nm-local-dir; 1/1 log-dirs are
小海的专栏
02-07 4518
Hadoop YARN: 1/1 local-dirs are bad: /var/lib/hadoop-yarn/cache/yarn/nm-local-dir; 1/1 log-dirs are bad: /var/log/hadoop-yarn/containers hdfs硬盘90% yarn unhealthy 1/1 local-dirs ar
Hadoop 跑MapReduce Job 的时候卡主,unhealthy-nodes=1
huonan_123的博客
11-14 415
Hadoop 跑MapReduce Job 的时候卡主 查看8088端口,可用内存为 0B,active-node 为 0 unhealthy-nodes 为1
两个参数都配置了，不是再把spark.local.dirs的参数添加到yarn.nodemanager.local-dirs参数中吗
05-31
是的，如果你已经将 `spark.local.dirs` 参数配置在 Spark 中，那么你可以将它添加到 `yarn.nodemanager.local-dirs` 参数中，以便在 YARN 模式下使用 Spark。这样做可以确保 Spark 所使用的本地目录和 YARN 的本地目录一致。你可以在启动 Spark 时使用以下命令来设置参数： ``` spark-submit --conf "spark.local.dirs=$SPARK_LOCAL_DIRS" --conf "spark.yarn.appMasterEnv.SPARK_LOCAL_DIRS=$SPARK_LOCAL_DIRS" --conf "spark.executorEnv.SPARK_LOCAL_DIRS=$SPARK_LOCAL_DIRS" your_app.jar ``` 其中，`$SPARK_LOCAL_DIRS` 是你的本地目录路径。这样做可以确保 Spark 在 YARN 模式下使用正确的本地目录。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

九师兄

你的鼓励是我做大写作的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值