Hadoop
文章平均质量分 57
DevilMonee
Python
展开
-
开启hadoop2.7.1的时候,发现ssh无法识别主机名(报错例如:HotSpot(TM): ssh: Could not resolve hostname HotSpot(TM)........)
解决办法:出现上述问题主要是环境变量没设置好,在~/.bash_profile或者/etc/profile中加入以下两条ss语句就没问题了。 #vi /etc/profile或者vi ~/.bash_profile export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native export HADOOP_OPT原创 2015-12-08 21:08:01 · 1411 阅读 · 0 评论 -
hadoop启动没有nodemanager
在正常启动hadoop的时候系统没有报错,但是jps查看进程的时候发现缺少了nodemanager,查看后台的日志进程···问题:发现如下错误:FATAL org.apache.hadoop.yarn.server.nodemanager.NodeManager: Error starting NodeManager org.apache.hadoop.yarn.exceptions.Ya原创 2016-04-11 17:52:13 · 37120 阅读 · 10 评论 -
Hadoop 2.0--HA功能中ZKFC对NN状态的控制
Hadoop 2.0 HA架构图:FC是要和NN一一对应的,两个NN就要部署两个FC。它负责监控NN的状态,并及时的把状态信息写入ZK。它通过一个独立线程周期性的调用NN上的一个特定接口来获取NN的健康状态。FC也有选择谁作为Active NN的权利,因为最多只有两个节点,目前选择策略还比较简单(先到先得,轮换)。ZKFC是Hadoop中通过ZK实现FC功能的一个实用工原创 2016-06-03 21:25:26 · 1575 阅读 · 0 评论