[Hadoop] Hadoop开启调试模式

方法1:修改$HADOOP_CONF_DIR/log4j.properties文件 hadoop.root.logger=ALL,console
    将该文件添加到项目classpath目录,如conf/log4j.properties
    在代码中加入:
   
 PropertyConfigurator.configure("conf/log4j.properties");

方法2:开启:
export HADOOP_ROOT_LOGGER=DEBUG,console
              关闭:
export HADOOP_ROOT_LOGGER=INFO,console
实时查看和修改Hadoop日志级别
Hadoop的日志界面可以通过Hadoop命令和Web界面来修改。
Hadoop命令格式:
hadoop daemonlog -getlevel <host:port> <name>
hadoop daemonlog --setlevel <host:port> <name> <level>
<name>为类名,如:TaskTracker
<level>为日志级别,如:debug和info等
  • 2
    点赞
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
您好!要进行Hadoop的安装部署和调试,您可以按照以下步骤进行操作: 1. 下载Hadoop:从Apache Hadoop官方网站(https://hadoop.apache.org/)下载最新版本的Hadoop软件包。 2. 解压缩软件包:将下载的软件包解压缩到您选择的目录中。 3. 配置环境变量:打开Hadoop的主配置文件(hadoop-env.sh),设置JAVA_HOME和HADOOP_HOME两个环境变量,确保正确指向Java和Hadoop的安装路径。 4. 配置Hadoop集群:编辑Hadoop的核心配置文件(core-site.xml)和HDFS配置文件(hdfs-site.xml),配置Hadoop集群的相关参数,例如文件系统URI、数据存储路径、副本数量等。 5. 配置MapReduce:编辑MapReduce配置文件(mapred-site.xml),设置MapReduce任务运行的相关参数,例如任务跟踪器和任务分配器。 6. 配置YARN:编辑YARN配置文件(yarn-site.xml),设置YARN资源管理器和节点管理器的相关参数,例如集群资源分配、容器运行时环境等。 7. 格式化HDFS:运行Hadoop提供的格式化命令格式化HDFS文件系统,以便在启动Hadoop集群时创建必要的目录和文件。 8. 启动Hadoop集群:使用启动脚本启动Hadoop集群,包括启动HDFS和YARN服务。您可以使用start-dfs.sh和start-yarn.sh脚本分别启动HDFS和YARN。 9. 验证集群状态:使用Hadoop提供的命令(例如hdfs dfsadmin -report和yarn node -list)验证Hadoop集群的状态,确保所有服务和节点都正常运行。 10. 提交任务:使用Hadoop提供的命令(例如hadoop jar)提交MapReduce任务,并监控任务运行状态。 11. 调试和故障排除:在调试和故障排除过程中,您可以查看Hadoop日志文件(位于HADOOP_HOME/logs目录下)以及相关命令的输出,以找出问题的原因并进行修复。 这些是进行Hadoop安装部署和调试的基本步骤,您可以根据您的需求和环境进行相应的配置和调整。希望对您有所帮助!如果您还有其他问题,请随时提问。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值