hadoop常见ERROR
大数据小小罗
做一个有思想的程序设计者!
展开
-
Error:The method setInputPaths(JobConf, String) in the type FileInputFormat is not
发生错误的原因是导错了包JobConf是旧API使用的,而我们需要的是新API所以使用import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;代替原有的import org.apache.hadoop.mapred.FileInputFormat;即可原创 2016-09-07 09:23:32 · 3388 阅读 · 3 评论 -
ERROR:格式化hdfs后,datanode只启动了一个
问题描述:使用dfs-format格式化hdfs之后,出现datanode只启动了一个的错误(原来有3个datanode,2个namenode)现场还原: 先查看一下namenode中 /$HADOOP_HOME/tmp/dfs/name/current/下的VERSION文件中的clusterID: NameNode1:clusterID=CID-fee4dcb4-9615-42c0-bd46原创 2016-04-18 09:48:40 · 1999 阅读 · 1 评论 -
ERROR:格式化hdfs时出现connection-refused
解决方法: (先确保你的每个节点网络设置中 勾选了 Available to all users) 重点来了!!!——> 先用./zkServer.sh start 启动各个zookeeper,再用./ hadoop-daemon.sh start journalnode启动各个NodeName上的 JournalNode进程。然后再进行格式化即可。问题描述:Re-format filesyst原创 2016-04-17 23:02:00 · 2202 阅读 · 0 评论 -
错误:namenode无法自动切换成active
错误描述: 使用 kill -9 namenode-jps-id 杀死active状态的namenode1进程时,无法使namenode2自动切换到active状态 查看namenode2日志得到如下信息:org.apache.hadoop.hdfs.qjournal.client.QuorumException: Got too many exceptions to achieve q原创 2016-04-15 11:30:38 · 5210 阅读 · 0 评论 -
错误:datanode无法启动
查看日志如下: 2016-04-14 04:07:58,821 FATAL org.apache.hadoop.hdfs.server.datanode.DataNode: Initialization failed for Block pool (Datanode Uuid unassigned) service to itcast01/192.168.1.201:9000. Exiting.原创 2016-04-14 19:48:32 · 642 阅读 · 0 评论 -
错误:ssh:could not resolve ....
错误描述:Java: ssh: Could not resolve hostname Java: Name or service not known library: ssh: Could not resolve hostname library: Name or service not known warning:: ssh: Could not resolve hostname原创 2016-04-14 16:19:14 · 2900 阅读 · 0 评论