如何解决伪分布无法启动datanode的问题

[问题描述]: 使用start-all.sh启动时, 无法启动datanode, 使用hadoop fs -put等命令报错

[问题分析]:
有两种情况
1. 使用root用户创建hadoop集群
使用root运行start-all.sh, hadoop会加上-jvm参数, 该参数根据java版本不同不一样, 这是导致错误的根源
观察 logs/hadoop-root-datanode-xxx.out 发现
Unrecognized option: -jvm
Could not create the Java virtual machine.

因此不建议使用root启动hadoop

2. 使用hadoop或其他用户创建集群
配置文件 hdfs-site.xml中的dfs.data.dir路径, 权限不对
正确的权限为: drwxr-xr-x(755)

完整的启动hadoop伪集群的方法:
1. 创建hadoop用户
useradd hadoop
passwd hadoop

2. 修改ssh无密码登陆(前提是ssh正常安装, 服务sshd启动)
ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

以hadoop身份登陆, 输入ssh localhost测试, 如果无需密码登陆则成功
如果不成功, 可以尝试彻底删除.ssh目录, 重新生成公钥

3. 在~/.bashrc文件中配置hadoop的环境变量
1. JAVA_HOME(必须, 也可以在conf/hadoop-env.sh中指定, 默认没有)
export JAVA_HOME=/usr/lib/jvm/java-1.6.0-openjdk-1.6.0.0.x86_64/jre

2. HADOOP_HOME
export HADOOP_HOME=/home/hadoop/hadoop_home

3. HADOOP_VERSION
export HADOOP_VERSION=0.20.203.0

4. HADOOP_BIN
export HADOOP_BIN=$HADOOP_HOME/hadoop-$HADOOP_VERSION/bin

5. PATH
export PATH=$PATH:$HADOOP_BIN

4. 修改hadoop三大配置(配置文件默认在conf目录下)
1. core-site.xml(详细说明见http://hadoop.apache.org/common/docs/current/core-default.html)

        <configuration>
            <property>
                <name>fs.default.name</name>
                <value>hdfs://localhost:9000</value>
            </property>
            <property>
                <name>hadoop.tmp.dir</name>
                <value>/home/hadoop/hadoop_home/hadoop-0.20.203.0/hadoop_tmp</value>
            </property>
        </configuration>

其中, hadoop.tmp.dir 为临时文件夹, 默认文件夹为/tmp/hadoop-${user.name}

2. hdfs-site.xml(详细说明见http://hadoop.apache.org/common/docs/current/hdfs-default.html)

        <configuration>
            <property>
                <name>dfs.replication</name>
                <value>1</value>
            </property>
            <property>
                <name>dfs.name.dir</name>
                <value>/home/hadoop/hadoop_home/hadoop-0.20.203.0/namenode_name</value>
            </property>
            <property>
                <name>dfs.data.dir</name>
                <value>/home/hadoop/hadoop_home/hadoop-0.20.203.0/namenode_data</value>
            </property>
        </configuration>

dfs.replication: 副本的数量, 默认为3个, 伪集群为1个

dfs.name.dir: 默认值${hadoop.tmp.dir}/dfs/name, 指定Namenode存储fsimage文件的位置, 如果值是逗号分隔的列表, 则在所有的目录上都会存放一份副本, 用于冗余.
Determines where on the local filesystem the DFS name node should store the name table(fsimage). If this is a comma-delimited list of directories then the name table is replicated in all of the directories, for redundancy.

dfs.data.dir: 默认值${hadoop.tmp.dir}/dfs/data, 指定datanode在本地文件系统存放块数据的位置, 如果值是逗号分隔的列表, 则数据会被存储到所有目录下, 典型是存储到多个不同的设备上, 如果目录不存在则忽略.
Determines where on the local filesystem an DFS data node should store its blocks. If this is a comma-delimited list of directories, then data will be stored in all named directories, typically on different devices. Directories that do not exist are ignored.

其中要注意dfs.data.dir的权限为755, 否则会报无法启动datanode的错误


3. mapred-site.xml(详细说明见http://hadoop.apache.org/common/docs/current/mapred-default.html)

        <configuration>
            <property>
                <name>mapred.job.tracker</name>
                <value>localhost:9001</value>
            </property>
            <property>
                <name>mapred.local.dir</name>
                <value>/home/hadoop/hadoop_home/hadoop-0.20.203.0/mapred/local</value>
            </property>
            <property>
                <name>mapred.system.dir</name>
                <value>/home/hadoop/hadoop_home/hadoop-0.20.203.0/mapred/system</value>
            </property>
        </configuration>

mapred.job.tracker: JobTracker的主机IP地址和端口

mapred.local.dir: 默认值${hadoop.tmp.dir}/mapred/local, 决定存储 MapReduce 中间数据(map 输出数据)的位置, 而事实上, map输出的中间数据会存放到本地磁盘而非hdfs, 见<Hadoop The Definitive Guide>-<CHAPTER 2 MapReduce>-<Scaling Out>-<Data Flow>: Map tasks write their output to the local disk, not to HDFS.), 如果值是逗号分割的列表, 且目录位于不同的设备, 则可以分担硬盘I/O. 目录不存在则忽略.
The local directory where MapReduce stores intermediate data files. May be a comma-separated list of directories on different devices in order to spread disk i/o. Directories that do not exist are ignored.

mapred.system.dir: 默认值${hadoop.tmp.dir}/mapred/system, MapReduce存储控制文件的地方, 该路径是hdfs的路径, 如/hadoop/mapred/system/
The directory where MapReduce stores control files.

5. 格式化HDFS
Hadoop namenode -format

6. 运行hadoop守护进程
bin/start-all

7. 观察hadoop运行情况
使用ps -Uhadoop -f发现:

java -Dproc_namenode -Xmx1000m
java -Dproc_datanode -Xmx1000m
java -Dproc_secondarynamenode
java -Dproc_jobtracker -Xmx1000m
java -Dproc_tasktracker -Xmx1000m

则表示正常