Hadoop多节点集群搭建

Hadoop多节点集群搭建

---

版权声明：

本文为博主学习整理原创文章，如有不正之处请多多指教。

未经博主允许不得转载。https://blog.csdn.net/qq_42595261/article/details/84070436

---

准备环境：JDK安装和配置

 

本集群设置为5台

节点IP	Namenode	Datanode
XX.XX.XX.177	√	√
XX.XX.XX.184		√
XX.XX.XX.162		√
XX.XX.XX.169		√
XX.XX.XX.170		√

 

①解压

tar -zxvf hadoop-2.6.5.tar.gz  -C /path  -C是指定解压的目录

② 配置环境变量

vi /etc/profile

末尾追加(Hadoop的环境变量需要配置两个，bin和sbin)

export HADOOP_HOME=

export PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

配置文件生效

source /etc/profile

Hadoop的所有配置文件都在Hadoopd解压目录中的/etc/hadoop/目录下，并不是系统的目录/etc目录下。

③修改hadoop-evn.sh

找到export JAVA_HOME=${JAVA_HOME}将其修改为自己JDK的目录

④修改core-site.xml

注意：实验室环境的虚拟机给定的ip只能用于登录，配置中如果需要配置ip的话，就需要配置自己的虚拟ip。

使用ip addr查看虚拟ip：

结果如下：

 

上面红框中的内容就是虚拟ip。每个人的虚拟ip不一样

<property>

<name>fs.defaultFS</name>

<value>hdfs://XX.XX.XX.177:9000</value>

</property>

<property>

<name>hadoop.tmp.dir</name>

<value>/opt/hadoopDir/tmp/data</value>

</property>

 

⑤      修改hdfs-site.xml

#几台datanode就可以设置为几个副本。最大副本不能超过datanode台数

<property>

<name>dfs.replication</name>

<value>5</value>

</property>

#下面这两个可以不用配置，集群环境可以保留默认值

<property>

<name>dfs.namenode.name.dir</name>

<value>/opt/hadoopDir/tmp/namenodeData</value>

</property>

 

<property>

<name>dfs.datanode.data.dir</name>

<value>/opt/hadoopDir/tmp/datanodeData</value>

</property>

 

⑥ 修改slaves文件

将datanode节点的ip写入该文件

XX.XX.XX.177

XX.XX.XX.184

XX.XX.XX.162

XX.XX.XX.169

XX.XX.XX.170

⑦ 将hadoop发送到其他四台主机

scp -r /usr/local/apps/hadoop-2.6.5/etc/hadoop root@ XX.XX.XX.184:/usr/local/apps/ etc/

scp -r /usr/local/apps/hadoop-2.6.5/etc/hadoop root@ XX.XX.XX.162:/usr/local/apps/ etc/

scp -r /usr/local/apps/hadoop-2.6.5/etc/hadoop root@ XX.XX.XX.169:/usr/local/apps/ etc/

scp -r /usr/local/apps/hadoop-2.6.5/etc/hadoop root@ XX.XX.XX.170:/usr/local/apps/ etc/

⑧启动Hadoop

首次启动需要格式化namenode

需要注意的是，如果第一次初始化之后，需要再次初始化，需要将某些文件删除，需要删除的文件路径：/opt/hadoopDir/tmp/data

/tmp目录下设计到hadoop的并且以.pid结尾的文件

还有就是在data中的配置的路径下面的所有的东西都要删除。

上面的东西删除之后再重新初始化即可。

hadoop namenode -format

格式化之后进行启动

start-dfs.sh

安装过程需要输入密码，密码是系统密码

启动成功后查看进程

177节点：

184、162、169和170节点

Datanode

JPS

HDFS界面介绍

在linux内部可以通过curl http:// XX.XX.XX.177:50070查看是否启动成功

在windows上面直接访问网站即可 http:// XX.XX.XX.177:50070

 

 

---