hadoop相关日志配置项

 (1)Hadoop系统服务输出的日志
诸如NameNode、DataNode、ResourceManage等系统自带的服务输出来的日志默认是存放在${HADOOP_HOME}/logs目录下。
resourcemanager的日志存放路径可以配置在(在${HADOOP_HOME}/etc/hadoop/yarn-env.sh)中的YARN_LOG_DIR值
默认值:$HADOOP_YARN_HOME/logs
(2) yarn.nodemanager.log-dirs,存放在yarn-site,xml
参数解释:日志存放地址(可配置多个目录)。
默认值:${yarn.log.dir}/userlogs
(3) yarn.nodemanager.local-dirs,存放在yarn-site,xml
参数解释:中间结果存放位置,类似于1.0中的mapred.local.dir。注意,这个参数通常会配置多个目录,已分摊磁盘IO负载。

默认值:${hadoop.tmp.dir}/nm-local-dir
(4)mapreduce.jobhistory.done-dir
参数解释:MR JobHistory Server管理的日志的存放位置。
默认值: /mr-history/done
(5) mapreduce.jobhistory.intermediate-done-dir
参数解释:MapReduce作业产生的历史日志存放位置、主要存放的是当前正在运行的Hadoop任务的记录相关信息。
默认值: /mr-history/tmp

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值