[Hadoop] Hadoop Yarn显示DEBUG调试信息的配置方法

1. 默认条件下,Yarn 日志仅显示INFO及以上级别信息,而对系统进行二次开发时,显示必要的DEBUG信息是必要的。

2. 配置Yarn打印DEBUG信息到日志文件,只需要修改其启动脚本sbin/yarn-daemon.sh,将INFO改为DEBUG即可(仅此一步)。

  export YARN_ROOT_LOGGER=${YARN_ROOT_LOGGER:-DEBUG,RFA}

3. 对于HDFS而言,修改方法类似,只需要修改sbin/hadoop-daemon.sh,将INFO替换为DEBUG即可。

  export HADOOP_ROOT_LOGGER=${HADOOP_ROOT_LOGGER:-"DEBUG,RFA"}
  export HADOOP_SECURITY_LOGGER=${HADOOP_SECURITY_LOGGER:-"DEBUG,RFAS"}
  export HDFS_AUDIT_LOGGER=${HDFS_AUDIT_LOGGER:-"DEBUG,NullAppender"}


  • 1
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
配置HadoopYARN,您可以按照以下步骤进行操作: 1. 打开Hadoop安装目录,并进入到`etc/hadoop`目录中。 2. 打开`yarn-site.xml`文件,它是YARN配置文件。 3. 在`yarn-site.xml`文件中,您可以设置一些关键属性,如下所示: - `yarn.resourcemanager.hostname`:指定YARN资源管理器的主机名。 - `yarn.nodemanager.aux-services`:指定YARN节点管理器的辅助服务,多个服务之间用逗号分隔。 - `yarn.nodemanager.aux-services.<service-name>.class`:指定辅助服务的实现类。 - `yarn.nodemanager.resource.memory-mb`:指定每个节点管理器可用的最大内存量。 - `yarn.nodemanager.resource.cpu-vcores`:指定每个节点管理器可用的最大CPU核数。 4. 保存并关闭`yarn-site.xml`文件。 5. 打开`mapred-site.xml`文件,它是MapReduce的配置文件。 6. 在`mapred-site.xml`文件中,可以配置一些与YARN相关的属性,如下所示: - `mapreduce.framework.name`:设置MapReduce框架使用的资源管理器,默认为`yarn`。 - `mapreduce.jobhistory.address`:指定Job历史服务器的主机名和端口号。 - `mapreduce.jobhistory.webapp.address`:指定Job历史服务器的Web界面的主机名和端口号。 7. 保存并关闭`mapred-site.xml`文件。 8. 您还可以根据需要配置其他HadoopYARN相关的属性,如`core-site.xml`和`hdfs-site.xml`等。 9. 配置完成后,重新启动Hadoop集群,使配置生效。 这些步骤将帮助您配置HadoopYARN。请确保根据您的需求正确设置各个属性。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值