Hadoop环境搭建遇到的问题记解答

1，执行以下命令时

hadoop fs -copyFromLocal /root/input* input

出现以下异常：

12/11/21 20:31:47 WARN hdfs.DFSClient: DataStreamer Exception: org.apache.hadoop.ipc.RemoteException: java.io.IOException: File /user/root/input/input1 could only be replicated to 0 nodes, instead of 1
        at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.getAdditionalBlock(FSNamesystem.java:1558)
        at org.apache.hadoop.hdfs.server.namenode.NameNode.addBlock(NameNode.java:696)
        at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
        at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:39)
        at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)
        at java.lang.reflect.Method.invoke(Method.java:597)

解决办法：

1. 查看你的文件系统

[root@dev9106 /]# df -hl

文件系统              容量  已用 可用 已用% 挂载点

/dev/sda3             1.9G  1.6G  302M  84% /

/dev/sda8             845G   47G  756G   6% /home

/dev/sda7             5.7G  147M  5.3G   3% /tmp

/dev/sda6             9.5G  4.0G  5.1G  45% /usr

/dev/sda5             9.5G  273M  8.8G   3% /var

/dev/sda1             190M   15M  167M   8% /boot

tmpfs                 7.8G     0  7.8G   0% /dev/shm

2. 修改文件Hadoop conf/core-site.xml 中hadoop.tmp.dir的值

  <property>

   <name>fs.default.name</name>

   <value>hdfs://localhost:9000</value>

</property>

<property>

   <name>hadoop.tmp.dir</name>

   <value>/home/dhfs/tmp</value>

</property>

</configuration>

3. 停止hadoop服务，重新格式化namenode

4.重启服务

5.Ok

2：

[root@localhost program]# hadoop namenode -format
09/04/24 09:38:13 INFO namenode.NameNode: STARTUP_MSG:
/************************************************************
STARTUP_MSG: Starting NameNode
STARTUP_MSG:   host = localhost.localdomain/127.0.0.1
STARTUP_MSG:   args = [-format]
STARTUP_MSG:   version = 0.19.0
STARTUP_MSG:   build = https://svn.apache.org/repos/asf/hadoop/core/branches/branch-0.19 -r 713890; compiled by 'ndaley' on Fri Nov 14 03:12:29 UTC 2008
************************************************************/
Re-format filesystem in /tmp/hadoop-root/dfs/name ? (Y or N) y
Format aborted in /tmp/hadoop-root/dfs/name
09/04/24 09:38:59 INFO namenode.NameNode: SHUTDOWN_MSG:
/************************************************************
SHUTDOWN_MSG: Shutting down NameNode at localhost.localdomain/127.0.0.1
************************************************************/

解决办法：

把/tmp/hadoop-root/dfs/下 name文件夹整个删除，再进行格式化，操作成功了。。。