HDFS完全分布式搭建

HDFS完全分布式搭建[Hadoop1.X]

一、环境准备【如果没有准备好 请查阅然后准备以下环境】

1、 JDK (前面已经安装好了)

2、 Linux（前面已经安装好了）

3、 准备至少3台机器,我们用的是4台（通过克隆虚拟机；配置好网络JDK 时间 hosts，保证节点间能互ping通）

4、 时间同步  (ntpdate time.nist.gov)

5、 ssh免秘钥登录   (两两互通免秘钥)

二、 完全分布式搭建

1、下载解压缩Hadoop 【我解压缩到home目录下 然后加入Hadoop解压后的目录下】

2、配置etc/hadoop/中的hadoop-env.sh 

  export JAVA_HOME=/usr/java/latest               //找到你jdk安装目录

  export HADOOP_PREFIX=/usr/local/hadoop   //可不配

 

3、vim core-site.xml:

fs.defaultFS 默认的服务端口NameNode URI

hadoop.tmp.dir 是hadoop文件系统依赖的基础配置，很多路径都依赖它。如果hdfs-site.xml中不配 置namenode和datanode的存放位置，默认就放在这个路径中

<configuration>

    <property>

        <name>fs.defaultFS</name>

        <value>hdfs://node01:9000</value>

    </property>

    <property>

        <name>hadoop.tmp.dir</name>

        <value>/opt/hadoop-2.5.1</value>

    </property>

</configuration>

 

4、vim hdfs-site.xml:

// dfs.datanode.https.address是https服务的端口

<configuration>

 <property>

        <name>dfs.namenode.secondary.http-address</name>

        <value>node02:50090</value>

    </property>

<property>

        <name>dfs.namenode.secondary.https-address</name>

        <value>node02:50091</value>

    </property>

</configuration>

 

5、Masters: master 可以做主备的SNN

在/home/hadoop-2.5.1/etc/hadoop/新建masters文件 写上SNN节点名： node2

 

6、Slaves:  slave 顾名思义就是奴隶 苦干；拼命工作的DataNode节点

在/home/hadoop-2.5.1/etc/hadoop/slaves文件中填写DN 节点名：node2 node3 node4  [注意：每行写一个 写成3行]

7、最后将配置好的Hadoop通过SCP命令发送都其他节点

配置Hadoop的环境变量

8、vi ~/.bash_profile   (最好手敲输入 粘贴有时候会因格式等问题出错)

export HADOOP_HOME=/home/hadoop-2.5.1

export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

9、记得一定要  source ~/.bash_profile

10、回到跟目录下对NN进行格式化  hdfs namenode -format

11、启动HDFS： start-dfs.sh

12、关闭防火墙：service iptables stop

在浏览器输入 node1:50070 出现以下界面成功

转载请注明出处 ： http://blog.csdn.net/Jackie_ZHF/article/details/79369143