HDFS搭建

一、搭建前准备

配置好各台服务器的地址映射关系，相互之间的免密登录，安装jdk环境，时间同步(ntpdate time.nist.gov)

准备hadoop-2.6.5.tar.gz 安装包，放入/home目录下。

---

二、分析

环境需要一台放置NameNode（NN)，需要一台放置SecondaryNameNode(SNN)

还需要放置在三台服务器上的DataNode(DN),规划：ding01放置NameNode和DataNode

ding02放置SecondaryNameNode和DataNode，ding03防止DataNode。这样就完成了

一个NN一个SNN和三个副本DN的规划

---

三、开始搭建

将home目录下的hadoop压缩包级压缩

tar -zxvf hadoop-2.6.5.tar.gz 

 

 

 

 

 

 

 

 

配置hadoop安装包下的etc/hadoop/hadoop-env.sh文件，路径为你的jdk安装路径

 

 

配置core-site.xml文件

<configuration>

<property>

<name>fs.defaultFS</name>

<value>hdfs://ding01:9000</value>

</property>

<property>

<name>hadoop.tmp.dir</name>

<value>/opt/hadoop-2.6.5</value>

</property>

</configuration>

 

配置hdfs-site.xml

<configuration>

<property>

<name>dfs.namenode.secondary.http-address</name>

<value>ding02:50090</value>

</property>

<property>

<name>dfs.namenode.secondary.https-address</name>

<value>ding02:50091</value>

</property>

</configuration>

 

 

另外

<property>

<name>dfs.replication</name>

<value>1</value>

</property>

是指定副本数目的

 

 

 

在/home/hadoop-2.6.5/etc/hadoop新建masters文件写上SNN节点名称ding02

 

在/home/hadoop-2.6.5/etc/hadoop新建slaves文件写上DN服务器名，每行一个

 

 

配置环境变量

谨慎，不要配错

source ~/.bash_profile

 

将本机配置好的hadoop发送到其他服务器上

 

scp -r hadoop-2.6.5 ding02:`pwd`

 

scp -r hadoop-2.6.5 ding03:`pwd`

 

格式化NameNode

[root@ding01 ~]# hdfs namenode -format

 

 

启动HDFS：start-dfs.sh

 

关闭防火墙

service iptables stop

---

四、测试

然后在页面访问

 

 

 

 

---