Hadoop开启、关闭调试信息方法

最新推荐文章于 2023-05-25 10:33:26 发布
最新推荐文章于 2023-05-25 10:33:26 发布
阅读量7.1k 收藏 9
点赞数 2
分类专栏： Hadoop基础运维
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u010098331/article/details/50730452
版权

Hadoop开启关闭调试信息  

开启：export HADOOP_ROOT_LOGGER=DEBUG,console
关闭：export HADOOP_ROOT_LOGGER=INFO,console

实时查看和修改Hadoop日志级别

Hadoop的日志界面可以通过Hadoop命令和Web界面来修改。

Hadoop命令格式：
hadoop daemonlog -getlevel <host:port> <name>
hadoop daemonlog --setlevel <host:port> <name> <level>
<name>为类名，如：TaskTracker
<level>为日志级别，如：debug和info等

Web界面方式如下图所示： 

Log栏填写类名，如：TaskTracker
Level栏填写日志级别，如：debug和info等
「已注销」
关注
  • 2
    点赞
  • 踩
  • 9
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
hadoop动态增加和删除节点方法介绍
01-10
上一篇文章中我们介绍了Hadoop编程基于MR程序实现倒排索引示例的有关内容，这里我们看看如何在Hadoop中动态地增加和删除节点（DataNode）。 假设集群操作系统均为：CentOS 6.7 x64 Hadoop版本为：2.6.3 一、动态增加DataNode 1、准备新的DataNode节点机器，配置SSH互信，可以直接复制已有DataNode中.ssh目录中的authorized_keys和id_rsa 2、复制Hadoop运行目录、hdfs目录及tmp目录至新的DataNode 3、在新DataNode上启动hadoop ..sbin/hadoop-daemon.sh
Hadoop本地调试 winutil.exe & hadoop.dll
11-15
Hadoop本地调试必要的文件 winutil.exe & hadoop.dll 使用方式：https://blog.csdn.net/qq_31772441/article/details/84076715
开启hadoop的命令和方法
weixin_35750747的博客
01-06 4116
要开启 Hadoop，你需要进入 Hadoop 的安装目录，然后输入以下命令： sbin/start-dfs.sh sbin/start-yarn.sh 这会启动 Hadoop 的两个核心组件：Hadoop Distributed File System (HDFS) 和 Yet Another Resource Negotiator (YARN)。 你也可以使用以下命令来启动所有 Hadoop ...
如何修改Hadoop的默认日志级别，还真是麻烦
weixin_34250434的博客
11-25 351
鄙人使用的Hadoop版本为2.6.4。Hadoop的默认日志级别为INFO，对于百台以上的集群，如果文件操作频繁的话，NameNode会狂打日志，对性能会有一定的影响。 我们可以通过http://&lt;namenode:50070&gt;/logLevel在线修改NameNode的日志级别。如下所示： 但是，如果NameNode重启的话，又得重新设置，好麻烦。 怎么设置默认的日志级别为WAR...
Hadoop2 调整日志级别为DEBUG便于调试
heshang285170811的专栏
04-25 3032
一开始修改/etc/hadoop目录下的log4j.properties中的hadoop.root.logger=DEBUG,console，发现不起作用。 于是通过ps -ef|grep NameNode查看启动参数，发现里面有设置hadoop.root.logger 后来查看namenode启动脚本hadoop-daemon.sh中会去判断是否存在环境变量HADOOP_ROOT_LOGGE
hdfs设置默认日志级别l；设置hdfs-audit审计日志级别
路飞
05-25 626
Hadoop的默认日志级别为INFO,Hadoop使用的是log4j记录日志，如果去修改。，会被系统环境变量所覆盖，所以即使修改了这里的配置，重启也会无法生效。,添加修改如下变量，如果没有此变量就添加即可，有的话就将。所以就重HDFS的环境变量配置文件中下手，修改。如果为Apache单服务集群还需要修改。重启服务即可，观察日志情况。修改为需设定的日志级别。
关于hadoop中的操作
weixin_42577143的博客
11-25 188
删除hadoop中的用户 sudo userdel -r -f hduserName linux用户和组命令 保存帐户信息的目录： /etc/passwd 保存帐户密码信息的目录：/etc/shadow 保存组用户信息的目录：/etc/group 保存组用户密码信息的目录：/etc/gshadow 更改linux中的主机名称 vi /etc/hostname ...
[Hadoop] 配置问题解决
GaGa的博客
04-10 212
遇到的Hadoop配置问题 运行# hadoop fs -mkdir /secondary_sort报错WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable 看样子是Hadoop没配置好。 ...
hadoop常见错误以及处理方法详解
01-20
1、hadoop-root-datanode-master.log 中有如下错误：ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: java.io.IOException: Incompatible namespaceIDs in导致datanode启动不了。原因:每次namenode format...
Hadoop Combiner使用方法详解
08-29
主要介绍了 Hadoop Combiner使用方法详解的相关资料,希望通过本文能帮助到大家让大家理解掌握这部分内容，需要的朋友可以参考下
hadoop mapreduce helloworld 能调试
12-14
hadoop mapreduce helloworld 能调试 详细内容请看：http://blog.csdn.net/wild46cat/article/details/53641765
Hadoop学习 Log设置
yy9991818的博客
07-26 896
Hadoop Log的输出，对于初学Hadoop的同学来说非常的重要，通过Log可以得到Hadoop的运行过程中，通过分析Log,可以用于Hadoop运行过程中的排错，以及初步了解Hadoop的运行流程 Hadoop采用Log4j作为其Log组件，默认情况下，输出的Log级别为INFO, 可以修改默认的Log的级别为Debug或ALL, 得到更详尽的Log信息 修改的文件有：${HADOO...
(15)hadoop 日志级别设置
sun
04-14 2582
第一处是${HADOOP_HOME}/etc/hadoop/hadoop-env.sh，把INFO改为WARN即可： 启动脚本${HADOOP_HOME}/sbin/hadoop-daemon.sh，也需要这样改一下： export HADOOP_ROOT_LOGGER=${HADOOP_ROOT_LOGGER:-"WARN,RFA"}
Hadoop日志按天分割和开启审计日志
qq_15138049的博客
07-26 784
hadoop hbase 日志
Hadoop单机（本地）模式调试
qq_41293418的博客
03-07 540
了解Hadoop中常见概念。 学会Hadoop单机模式的安装及设置。 前提条件：已经安装好linux虚拟机，以ubuntu为例。 1.下载JDK解压并配置环境变量： JDK下载地址https://www.oracle.com/java/technologies/javase-jdk13-downloads.html 选择第一个Debin安装包（Centos选择PRM包） 下载后文件应该在下载...
Hadoop显示调试信息以及关闭
无能力者只知抱怨
10-22 1066
Hadoop显示调试信息以及关闭
Hadoop安装部署调试
最新发布
07-13
3. 配置环境变量：打开Hadoop的主配置文件（hadoop-env.sh），设置JAVA_HOME和HADOOP_HOME两个环境变量，确保正确指向Java和Hadoop的安装路径。 4. 配置Hadoop集群：编辑Hadoop的核心配置文件（core-site.xml）和...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值