搭建Hadoop集群

实验二 搭建Hadoop集群

1 实验目的

1. 搭建Hadoop集群；
2. 掌握Linux分发；
3. 掌握Hadoop启动和关闭。

2 实验内容

搭建Hadoop集群，配置etc/下的配置文件，设置主从节点，设置Hadoop环境变量，分发到其他电脑，运行hdfs和yarn，启动namenode、datanode。

3 实验知识点

1. Hadoop配置文件修改；
2. 主从节点设置；
3. 环境变量配置；
4. 分发；
5. 格式化namenode文件夹。
6. 启动集群

4 实验时长

    8学时。

5 实验环境

1. VMware；
2. CentOS。

6 实验过程

一、Hadoop解压、创建软连接

1、将hadoop-2.8.5.tar.gz上传到服务器~/apps下，再将其解压到/usr/local目录下。

2、进入/usr/local目录下，后使用  ln -s hadoop-2.8.5  hadoop2 创建一个软连接。再使用ls命令查看，发现hadoop-2.8.5和hadoop2都存在。

 二、配置环境变量

1、进入/etc/profiled.d目录下，使用vi命令新建hadoop.sh文件

 2、在hadoop.sh文件中添加如下命令。

 3、保存，调用source hadoop.sh。测试版本号：hadoop version

 三、配置hadoop环境脚本中的java参数

在hadoop2/etc/hadoop下，分别使用vim hadoop-env.sh、vim mapred-env.sh、vim yarn-env.sh，全部添加上export JAVA_HOME=$JAVA_HOME

四、创建Hadoop存储目录，在/目录下新建三个文件

五、配置主从节点

删除hadoop2/etc/hadoop/slaves中配置，将hp2、hp3添加到slaves中作为集群的slaves

六、配置core-site.xml

配置core-site.xml

<configuration>

<property>

<name>fs.defaultFS</name>

<value>hdfs://hp1:9000</value>

</property>

<property>

<name>io.file.buffer.size</name>

<value>131072</value>

</property>

<property>

<name>hadoop.tmp.dir</name>

<value>file:/hadoop_data/tmp</value>

</property>

</configuration>

配置改hdfs-site.xml

<configuration>

<property>

<name>dfs.namenode.secondary.http-address</name>

<value>hp1:9001</value>

</property>

<property>

<name>dfs.namenode.name.dir</name>

<value>file:/hadoop_data/dfs/name</value>

</property>

<property>

<name>dfs.datanode.data.dir</name>

<value>file:/hadoop_data/dfs/data</value>

</property>

<property>

<name>dfs.replication</name>

<value>2</value>

</property>

<property>

<name>dfs.webhdfs.enabled</name>

<value>true</value>

</property>

</configuration>

yarn-site.xml:

<configuration>  

<property>  

<name>yarn.nodemanager.aux-services</name>

<value>mapreduce_shuffle</value>

</property>

<property>

<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>

<value>org.apache.hadoop.mapred.ShuffleHandler</value>

</property>

<property>

<name>yarn.resourcemanager.address</name>

<value>hp1:8032</value>

</property>

<property>

<name>yarn.resourcemanager.scheduler.address</name>

<value>hp1:8030</value>

</property>

<property>

<name>yarn.resourcemanager.resource-tracker.address</name>

<value>hp1:8031</value>

</property>

<property>

<name>yarn.resourcemanager.admin.address</name>

<value>hp1:8033</value>

</property>

<property>

<name>yarn.resourcemanager.webapp.address</name>

<value>hp1:8088</value>

</property>

</configuration>

mapred-site-xml:

复制文件:

cp mapred-site.xml.template  mapred-site.xml

<configuration>

<property><name>mapreduce.framework.name</name>

<value>yarn</value>

</property>

<property>

<name>mapreduce.jobhistory.address</name>

<value>hp1:10020</value>

</property>

<property>

<name>mapreduce.jobhistory.webapp.address</name>

<value>hp1:19888</value>

</property>

</configuration>

七、分发hp1的配置到hp2、hp3：

1、使用scp -r hadoop.sh hp2:/etc/profile.d、scp -r hadoop.sh hp3:/etc/profile.d命令将hadoop远程复制到hp2  hp3上，并在hdp2、hdp3中分别调用source hadoop.sh。

2、使用 hadoop version命令测试版本号

 

 3、使用scp -r /usr/local/hadoop-2.8.5/  hdp2:/usr/local、scp -r /usr/local/hadoop-2.8.5/  hdp3:/usr/local命令，分别将hadoop远程复制到hp2、hp3上。

4、分别在hp1和hp2中输入ln -s hadoop-2.8.5  hadoop2命令，建立软连接。

5、使用scp -r hadoop_data/  hdp2:/和scp -r hadoop_data/  hdp3:/命令，将文件夹分发：

八、格式化主节点的存储目录

第一次启动hadoop是需要格式化hadoop的namenode

hdfs namenode –format

九、启动hadoop

1、启动dfs

命令：start-dfs.sh

 

2、启动yarn

命令：start-yarn.sh

 3、通过jps命令，可以查看hadoop启动的进程

关闭yarn

命令：stop-yarn.sh

 关闭dsf

命令：stop-dfs.sh

十、测试hadoop的安装

在web页面中查看hdfs和yarn

http://hdp1:50070

http://hdp1:8088

成功连接hdp1中hadoop。