【Yarn】yarn logs 日志过大 The total log size is too large The log size limit is 10240M

于 2024-05-30 00:45:00 发布
阅读量252 收藏
点赞数 6
分类专栏： 大数据-hadoop 文章标签： java hadoop 大数据
本文为博主九师兄（QQ:541711153 欢迎来探讨技术）原创文章，未经允许博主不允许转载。
本文链接：https://blog.csdn.net/qq_21383435/article/details/129815550
版权
大数据-hadoop 专栏收录该内容
128 篇文章 480 订阅 ¥29.90 ¥99.00
订阅专栏
在排查现场问题时，遇到Yarn日志大小超出限制（10240M），导致无法下载。通过检查日志大小，不建议直接查看全部内容，而应使用`head`或`tail`获取部分日志并保存到文件中分析。
摘要由CSDN通过智能技术生成

在这里插入图片描述

1.概述

今天要排查一个现场，然后需要下载日志查看，结果发现日志过大，无法下载

[mr@cqsec10075 ~]$ yarn logs   -applicationId application_1679365191066_0008 > aa.txt
2023-03-28
了解本专栏 订阅专栏 解锁全文
九师兄
关注
  • 6
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
yarn 根据applicationId查看日志
cihongmo6452的博客
12-03 743
前提需要yarn开通日志聚合设置 cd /usr/lib/hadoop-yarn/bin yarn logs -applicationId application_1436784252938_0022 ...
Yarn日志过大无法拉取java.lang.RuntimeException: The total log size is too large.The log size limit is 10240M
最新发布
NBA首席形象大使坤坤
04-16 2253
yarn拉取日志命令： yarn logs -applicationId application_1624172467753_3988 -appOwner root -size_limit_mb -1 > ./application_1624172467753_3988.log 加 -appOwner 是防止权限问题 但是可能会遇到日志过大无法拉取的情况（默认最大10G） 解决办法：加参数 -size_limit_mb -1即可 yarn logs -applicationId app
Spark on YARN ：yarn-cluster模式如何查看日志
qq_43688472的博客
12-25 5760
Spark on YARN 两种模式yarn-cluster yarn-client 一：yarn-client 在运行时是可以看到日志的 而yarn-cluster是看不懂的，那么问题来了，如何查看日志呢 [hadoop@hadoop001 shell]$ yarn logs -applicationId application_1545664455577_0006 application_...
Spark查询yarn任务日志
06-06 337
查看日志：yarn logs -applicationIdapplication_xxx 导入到外部文件 　　　　yarn logs -applicationIdapplication_xxx >> temp.log 然后自己就可以用tail或者grep去查看日志了。 转载于:https://www.cnblogs.com/QuestionsZhang/p/109...
yarn-日志聚合功能
qq_34969081的博客
11-28 2550
在yarn集群上运行作业的时候，日志聚合是没有运行的。只有当整个作业完成的时候，才能将各个node上的日志上传到hadoop上。start aggeratekey : yarn.log-aggregation-enable value : truelog dirkey : yarn.nodemanager.remote-app-log-dir value : /var/hadoop/yarnkey
当任务提交到yarn上运行完成时，(死活找不到log的情况下)，怎么查看logs
我的博客
03-26 1525
直接将log下载到b.log中 1.输入：yarn logs -applicationId application_1548399515783_0212 > b.log 2.输入： less b.log（会进到log中） 3. 输入：/数据 (意思是 查找数据两字的位置) ...
[Spark版本更新]--Spark-2.0.1版本的最新改动
欢迎来到我的博客，一起探索代码里的世界！
11-12 6449
spark-2.0.1版本的最新改动 Sub-task(子任务) [SPARK-15232] - Add subquery SQL building tests to LogicalPlanToSQLSuite [SPARK-15698] - Ability to remove old metadata for structure streaming MetadataLog [SPARK-...
hadoop的配置选项
热门推荐
u011326189的专栏
12-31 1万+
为方便阅读，特在此整理： core_site.xml 引用：http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-common/core-default.xml name value description hadoop.common.configuration.version 0.2
【Hadoop】【Hadoop集群设置】【Hadoop Cluster Setup】
wq6qeg88的博客
02-17 605
NodeManager能够定期检查本地磁盘的健康状况（特别是检查nodemanager-local-dirs和nodemanager-log-dirs），并且在达到基于配置属性yarn.nodemanager.disk-health-checker. min-health-disks设置的坏目录数量阈值后，整个节点被标记为不健康，并且此信息也被发送到资源管理器。但是，NodeManager会继续运行该脚本，因此，如果节点再次变得健康，它将自动从ResourceManager上的黑名单节点中删除。
Hadoop_3.X.x 注意事项
底层码农
03-31 1万+
hadoop3 hdfs web端口改为9870 <property> <name>dfs.namenode.http-address</name> <value>0.0.0.0:9870</value> <description> The address and the base port where...
yarn logs -applicationId 无法导出logs日志 Log aggregation has not completed or is not enabled.
qq_43688472的博客
12-25 1万+
一：前面操作正确 二：执行 [hadoop@hadoop001 shell]$ yarn logs -applicationId application_1545664455577_0006 三：报错 18/12/25 13:51:59 INFO client.RMProxy: Connecting to ResourceManager at /0.0.0.0:8032 /tmp/logs/h...
查看 application 某一个 container 的日志
houzhizhen的专栏
11-12 1639
yarn logs 参数如下： Retrieve logs for completed YARN applications. usage: yarn logs -applicationId <application ID> [OPTIONS] general options are: -am <AM Containers> Prints the AM Container logs for this
yarn application日志查看
Baron_ND的博客
04-12 8775
Yarn application 日志查看 方式一：正在运行任务，可以在任务启动后或者在yarn application UI页面找到applicationId，然后在服务器上查看：yarn logs -applicationId *** 方式二：已完成任务点击applicationId进去查看log 方式三：在yarn-site.xml配置文件里查看log的位置，然后可以直接在浏览器上看log详情 Flink任务日志查看 方式一：任务启动后直接在linux上看打印出...
yarn logs 查看日志
weixin_40455124的博客
06-10 2027
使用yarn调度进行进程，在8088端口界面看到如下的错误： Application application_1623204896492_0009 failed 2 times due to AM Container for appattempt_1623204896492_0009_000002 exited with exitCode: 13 Failing this attempt.Diagnostics: [2021-06-09 03:45:16.386]Exception from contain
【spark】整合Yarn报错、无法查看log
依旧的博客
04-13 4381
1.修改hadoop的yarn-site.xml vim /export/servers/hadoop/etc/hadoop/yarn-site.xml <property> <name>yarn.resourcemanager.hostname</name> ...
yarn logs -applicationId [applicationID]
weixin_30544657的博客
06-30 1546
yarn logs -applicationId application_1435648583743_0001 报错： tmp/logs/.../application_1435648583743_0001 does not exist 解决： yarn-site.xml中添加： <property> <name>yarn.log-aggregation-...
yarn常用命令
扛麻袋的少年的博客
04-29 524
二十二、yarn常用命令 1.yarn application 查看任务 Ⅰ.列出所有 Application Ⅱ.根据 Application 状态过滤 Ⅲ.Kill杀死某个任务 2.yarn logs 查看日志 Ⅰ.查看application(任务)日志 Ⅱ.查看Container(容器)日志 3.yarn applicationattempt 查看尝试运行的任务 Ⅰ.列出某个application尝试的列表 Ⅱ.查询ApplicationAttempt状态 4.yarn container 查看容器
Note that the development build is not optimized. To create a production build, run yarn build.
08-25
Note that the development build is not optimized. To create a production build, run yarn build.这句话是在提醒用户开发环境的构建版本没有经过优化，如果想要创建一个生产版本的构建，需要运行yarn build命令...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

九师兄

你的鼓励是我做大写作的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值