关于搭建Hadoop过程中出现的几个错误

        最近因工作需要要打个Hadoop集群，过程中碰到一些问题，也费了些精力去解决，现将这些问题记录一下。

 

   1. root与CDH3u4

           CDH默认是不支持root用户的， 如果仍想用 root 来搭建，可以从Apache Hadoop里下载你要的版本来搭建，但是仍会出现

                        Could not create the Java Virtual machine. unrecognized option: -jvm   

 的错误，这时要去编辑 bin/hadoop 脚本，找到里面的判断 if [[$EUID -eq 0]]; then

                     HADOOP_OPTS="$HADOOP_OPTS -jvm server $HADOOP_DATANODE_OPTS"

               else

                     HADOOP_OPTS="$HADOOP_OPTS -server $HADOOP_DATANODE_OPTS"

               fi

 因为当前的$EUID  是root, 为零，所以会执行 then 里的 语句，要解决这个问题只要把 then 里的 -jvm server 改为 -server（及和 else 的语句相同即可）。

 

  2. 注意每次搭建后，都一定要 bin/hadoop namenode -format, 不然会连不通的， Already  try xx times(), blahblahblah .

  3. 运行 bin/hadoop dfsadmin -report 后，结果如下：                 

       Configured Capacity: 0 (0 KB)
       Present Capacity: 0 (0 KB)
       DFS Remaining: 0 (0 KB)
       DFS Used: 0 (0 KB)
       DFS Used%: �%
       Under replicated blocks: 0
       Blocks with corrupt replicas: 0
       Missing blocks: 0

       -------------------------------------------------
      Datanodes available: 0 (0 total, 0 dead)

     我遇到的这个问题，多半是因为重新运行了 bin/hadoop namenode -format 命令， 因为上一次format的数据还没清空。所以解决办法是把hdfs-site.xml中配置的 dfs.name.dir 和 dfs.data.dir(如果有重要数据，这个就不要删了) 全删了，再重新 format 就行了。

 

4. 使用 hadoop fs -put  file1.txt  in  上传文件到HDFS  in 目录下时， 出现

     ERROR： hdf.DFSclient: Exception closing file /user/root/in : org.apache.ipc.

    RemoteException: java.io.IOException: File /usr/root/in could only be replicate to 0 nodes, instead of 1.

    这应该是HDFS没正常启动。用 hadoop namenode format 重新格式化一次就能解决问题了。http://blog.csdn.net/wh62592855/article/details/5744158

    如果还不行，则可能是开启了防火墙和safemode on的问题。 参 http://hi.baidu.com/xiaomi/item/49d16a90720d16f629164727   http://www.oschina.net/question/188742_41144