hadoop单机部署伪分布式系列1:HDFS



安装服务

单机版hdfs：namenode、SecondaryNameNode、datanode

环境准备：

节点：10.1.253.178(hostname:cdh1)

创建用户：liulu

本节点自己建立互信（执行ssh localhost输入yes，保证以后不需要输）

节点关闭防火墙

安装包：

jdk1.6.0_31.zip

hadoop-2.0.0-cdh4.2.1.tar.gz

部署步骤：

1. 上传安装包并解压

/home/liulu/app/hadoop-2.0.0-cdh4.2.1

/home/liulu/app/jdk1.6.0_31

2. 修改以下文件

/home/liulu/.bash_profile：

JAVA_HOME=/home/liulu/app/jdk1.6.0_31

PATH=$PATH:$HOME/bin:$JAVA_HOME/bin

(注：执行source命令使之生效)

hdfs文件1：/home/liulu/app/hadoop-2.0.0-cdh4.2.1/etc/hadoop/core-site.xml：

<property>

    <name>fs.defaultFS</name>

    <value>hdfs://localhost</value>

 </property>

hdfs文件2：/home/liulu/app/hadoop-2.0.0-cdh4.2.1/etc/hadoop/hdfs-site.xml：

<property>

    <name>dfs.namenode.name.dir</name>

    <value>/home/liulu/data/namenode</value>

</property>

<property>

    <name>dfs.datanode.data.dir</name>

    <value> /home/liulu/data/datanode </value>

</property>

hdfs文件3：/home/liulu/app/hadoop-2.0.0-cdh4.2.1/etc/hadoop/hadoop-env.sh：

export JAVA_HOME=/home/liulu/app/jdk1.6.0_31

hdfs文件4：/home/liulu/app/hadoop-2.0.0-cdh4.2.1/etc/hadoop/slaves:
localhost

注：$dfs.namenode.name.dir指定目录需要事先创建。

3. 格式化hdfs文件系统的namenode

cd /home/liulu/app/hadoop-2.0.0-cdh4.2.1/bin

./hdfs namenode -format

注：format后若$dfs.datanode.data.dir指定目录存有老集群的信息，则需要删除。

4. 启动hdfs集群

cd /home/liulu/app/hadoop-2.0.0-cdh4.2.1/sbin

./start-dfs.sh

5. 检查hdfs集群

看进程（NameNode、SecondaryNameNode、DataNode）：

[liulu@cdh1 sbin]$ jps -m

14556 Jps -m

14310 SecondaryNameNode

14106 DataNode

13976 NameNode

看namenode监控页面：

http://10.1.253.178:50070/dfshealth.jsp

http://10.1.253.178:50090/status.jsp

6. Hdfs操作

cd /home/liulu/app/hadoop-2.0.0-cdh4.2.1/bin

./hdfs dfs -mkdir /test

./hdfs dfs -put ~/testfile /test

7. 关闭Hdfs

cd /home/liulu/app/hadoop-2.0.0-cdh4.2.1/sbin

./stop-dfs.sh