Hadoop
曾尚和
ssss
展开
-
Hadoop1.2.1 tasktracker容错机制分析,黑名单与灰名单
hadoop1.2.1 tasktracker容错机制分析 1.job级别黑名单 每个Job都会维护自己的黑名单。如果tasktracker被加入该黑名单,则该Job不会再分配给这个节点分配task。流程图如下: 加入黑名单的条件: 1)。已经被加入黑名单的数量 2)。该tasktracker原创 2016-02-16 18:09:32 · 521 阅读 · 0 评论 -
Hadoop2 调整日志级别为DEBUG便于调试
一开始修改/etc/hadoop目录下的log4j.properties中的hadoop.root.logger=DEBUG,console,发现不起作用。于是通过ps -ef|grep NameNode查看启动参数,发现里面有设置hadoop.root.logger后来查看namenode启动脚本hadoop-daemon.sh中会去判断是否存在环境变量HADOOP_ROOT_LOGGE原创 2016-04-25 15:44:24 · 3029 阅读 · 0 评论