Yarn日志过大无法拉取java.lang.RuntimeException: The total log size is too large.The log size limit is 10240M

于 2024-04-16 10:26:36 发布
阅读量2.1k 收藏 6
点赞数 2
分类专栏： # 大数据集群 # Linux系统 文章标签： java 数据库 yarn hadoop spark
版权所有：（谁都没有）
本文链接：https://blog.csdn.net/qq_44491709/article/details/118355586
版权

yarn拉取日志命令：

yarn logs -applicationId application_1624172467753_3988 -appOwner root -size_limit_mb -1 > ./application_1624172467753_3988.log

加 -appOwner 是防止权限问题

但是可能会遇到日志过大无法拉取的情况（默认最大10G）

日志过大

解决办法：加参数 -size_limit_mb -1即可

yarn logs -applicationId application_1624172467753_3988 -appOwner root -size_limit_mb -1 > ./application_1624172467753_3988.log

加参数

看下大小：
log大小

这个时候不建议打开看，应该head或者tail最前或者最后的部分，追加到一个文件内打开看。或者可以grep查看
tail

NBA首席形象大使阿坤
关注
  • 2
    点赞
  • 踩
  • 6
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
【Yarn】yarn logs 日志过大 The total log size is too large The log size limit is 10240M
九师兄
05-30 217
这个时候不建议打开看，就算是grep也不可以，应该head或者tail最前或者最后的部分，追加到一个文件内打开看。今天要排查一个现场，然后需要下载日志查看，结果发现日志过大，无法下载。然后根据提示发现加了参数也无法拉取。
解决Spark Streaming任务日志打爆磁盘问题
DDSHANG的专栏
03-29 3626
1.在standlone模式下，为了减少日志在磁盘占用的输出的量，可以设置一下几个参数。spark.executor.logs.rolling.maxRetainedFilesspark.executor.logs.rolling.enableCompressionspark.executor.logs.rolling.maxSizespark.executor.logs.rolling.stra...
outlook提示邮件附件超出大小限制的解决方法
weixin_34216107的博客
07-31 8509
SymptomsWhen you add a large attachment to an email message in Microsoft Office Outlook 2010, you receive the following error message:The attachment size exceeds the allowable limit.CauseThis problem ...
全方位揭秘！大数据从0到1的完美落地之YARN的历史日志
weixin_42044506的博客
04-21 109
我们在YARN上运行MapReduce的程序的时候，可以在控制台上看到任务的日志输出，以获取到任务的运行状态。同时，YARN也会将日志写在本地的**$HADOOP_HOMOE/logs/userlogs**文件夹中，我们可以到文件夹中进行日志的查看。但是这个文件夹中的内容，会随着YARN的重启而被删除掉。那么此时我们将如何查看日志？此时就需要开启Hadoop的历史日志服务了，Hadoop会将MapReduce的任务日志在HDFS也保留一份，我们可以通过Hadoop的历史任务服务来查看到之前的历史日志！
服务器maillog日志太大处理
xiangshanqishi的专栏
06-02 1515
maillog手动删除后，以后postfix不会自动生成maillog日志了。 解决办法 发现/etc/rsyslog.conf # Log all the mail messages in one place. mail.* -/var/log/maillog 原来系统是通过rsyslog来收集日志的。 ./etc/init.d/rsyslog restart，重启服务。解决。 ...
【yarn】Yarn container 日志清理
Mrerlou的博客
06-02 2984
今天说一下 的日志清理机制。的日志目录结构如下图所示。 会在所有目录上为同一个应用程序建立相同的目录结构，并采用轮询的调度方式将这些目录分配给不同Container使用。每个Container将输出三类日志：这个配置为 。由于将所有的运行日志保存到本地磁盘上，因此，随着时间的积累，日志必将越来越多。为了避免大量日志“撑爆”磁盘空间，将定期清理日志文件，该功能由组件（当前存在两种实现：和）完成。总起来说，提供了定期删除（由实现）和日志聚集转存（由实现）两种日志清理机制，默认情况下，采用的是定期删除机制。允
java.lang.NoClassDefFoundError错误解决办法
08-30
"java.lang.NoClassDefFoundError错误解决办法" java.lang.NoClassDefFoundError错误是一种常见的Java错误，它发生在Java虚拟机在编译时能找到合适的类，而在运行时不能找到合适的类导致的错误。下面是该错误的解决...
hadoop-yarn.zip_The Project_com.hado_hadoop
09-24
This project contains the hadoop yarn source code along with some of my modifications, related to security features
yarn-v0.23.2.tar.gz
07-22
yarn-v0.23.2.tar.gz 在安装ambari,源码编译的时候下载的文件有问题 手动下载 地址 https://github.com/yarnpkg/yarn/releases/download/v0.23.2/yarn-v0.23.2.tar.gz
rocketmq-dashboard源码以及使用maven打包时缺失包yarn-1.22.10.tar.gz
最新发布
01-05
rocketmq dashboard监控页面的github源码下载，最后一次提交节点的sha:6456630324e3ff22217a6da221a64c09bea82a72。官方地址为：https://github.com/apache/rocketmq-dashboard
第5章Yarn.pdf第5章Yarn.pdf第5章Yarn.pdf第5章Yarn.pdf
10-06
【标题】: Hadoop YARN 框架详解 【描述】: YARN（Yet Another Resource Negotiator），是Hadoop生态系统中的核心组件，负责管理和调度大数据处理任务的资源分配。 【标签】: Hadoop, YARN, 大数据 【正文】: ...
Linux 下查找大文件或目录，邮件的日志太大的处理方式
kindy的开发工作室
05-28 1143
当硬盘空间不够时，我们就很关心哪些目录或文件比较大，看看能否干掉一些了，怎么才能知道呢？   #已易读的格式显示指定目录或文件的大小，-s选项指定对于目录不详细显示每个子目录或文件的大小 du -sh [dirname|filename]   如：   当前目录的大小： du -sh .   当前目录下个文件或目录的大小： du -
hadoop yarn命令下载运行日志和结束yarn任务命令笔记
xiaoleilei666的博客
12-31 3387
一、查看yarn日志 下载日志到本地 yarn logs -applicationId application_1640325130027_76754 less命令查看日志 less application_1640325130027_76754.txt.success 结束yarn任务 yarn application -kill application_1640325130027_75655 ...
Hadoop/Yarn的日志清理
worldchinalee的博客
03-15 2859
Hadoop/Yarn的日志清理可以分为两个子话题讨论： Hadoop/Yarn的本地日志（非Yarn Container生成的日志） Yarn的Container生成的日志 我们这里讨论的日志清理并不是通过定时的日志删除命令去实现，这一做法显然优雅， 具体的做法下面会分别进行讨论。 1. Hadoop/Yarn本地日志的清理 Hadoop/Yarn使用log4j进行日志输出，所以对于它们本地日志的清理，最好的方式是通过修改log4j的配置配置文件，以rolling的方式写入日志。Hadoop/Yarn
yarn日志搜索
bianfulin01的专栏
09-29 699
命令： yarn logs -applicationId application_1528275740373_0604 | grep -10 '###'   日志过大时添加参数： yarn logs -applicationId application_1540869695351_0146  --size_limit_mb -1  参考文章： https://www.jianshu.c...
干货 | YARN 应用日志相关参数解析及如何使用命令行查看应用日志
CREATE_17的博客
11-04 3956
点击卡片“大数据实战演练”，选择“设为星标”或“置顶”回复“资料”可领取独家整理的学习资料！yarn 相关文章：☞hadoop之yarn命令详解☞hadoop之yarn详解（基础架构篇...
Flink集群日志过大问题解决
m0_61813695的博客
07-10 685
在Flink程序中，可以通过设置日志级别来控制控制台输出的信息。要让控制台只打印结果信息，可以将日志级别设置为ERROR。这样，只有错误信息和print()方法输出的结果会显示在控制台上。要设置日志级别，请在Flink项目的resources目录下创建一个名为log4j.properties的文件（如果已经存在，请修改相应的配置）。
Service org.apache.hadoop.yarn.server.nodemanager.containermanager.AuxServices failed in state INITED java.lang.RuntimeException: java.lang.RuntimeException: java.lang.ClassNotFoundException: Class org.apache.spark.network.yarn.YarnShuffleService not found
07-12
这个错误是关于 Hadoop YARN 中的辅助服务（Auxiliary Services）初始化失败的问题。根据错误信息，发生了两个异常：`java.lang.RuntimeException` 和 `java.lang.ClassNotFoundException`。 首先，`java.lang.RuntimeException` 表示在初始化辅助服务时出现了一个运行时异常。其次，`java.lang.ClassNotFoundException` 表示找不到类 `org.apache.spark.network.yarn.YarnShuffleService`。 这个错误通常发生在 Spark Shuffle 服务配置不正确或 Spark Shuffle 相关的类路径设置有问题的情况下。 要解决这个问题，您可以尝试以下几个步骤： 1. 确保您的环境中已正确安装和配置了 Spark，并且 Spark 相关的 JAR 文件在您的应用程序或 Hadoop 的类路径中可用。 2. 检查您的配置文件，确保在 YARN 的配置中包含了正确的 Spark Shuffle 服务配置。您可以参考 Spark 和 Hadoop 的官方文档以了解正确的配置方式。 3. 确保在 YARN 的 `yarn-site.xml` 配置文件中正确设置了 Spark Shuffle 服务的类路径。您可以检查 `yarn.nodemanager.aux-services` 和 `yarn.nodemanager.aux-services.spark_shuffle.class` 这两个属性的设置。 4. 如果您使用的是自定义的 Spark Shuffle 服务实现，确保相关的 JAR 文件已正确放置在 YARN 的类路径中。 请注意，具体解决方案可能因您的环境和配置而异。如果问题仍然存在，您可以查看 Hadoop 和 Spark 的官方文档、社区支持资源以及相关错误日志，以获取更多关于此错误的详细信息和解决方案。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值