hadoop集群搭建_hadoop-2.7.2.tar.gz arm-CSDN博客

本文链接：https://blog.csdn.net/hujinqiu1071686579/article/details/105753988

Hadoop运行环境搭建

1. 环境准备

1.修改主机名

2.关闭防火墙

3.创建hadoop用户

4.配置hadoop用户具有root权限

5.在/opt目录下创建文件夹

（1）在/opt目录下创建module、soft文件夹

sudo mkdir module

sudo mkdir soft

（2）修改module、software文件夹的所有者

sudo chown hadoop:hadoop module/ soft/

2. 安装JDK

3. 安装Hadoop

1.上传hadoop-2.7.2.tar.gz 到/opt/soft

2.解压hadoop-2.7.2.tar.gz 到/opt/module

3.添加环境变量

export HADOOP_HOME=/opt/module/hadoop-2.7.2

export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin

source /etc/profile

测试安装是否成功

4. 编写集群分发脚本xsync

1. scp（secure copy）安全拷贝

（1）scp定义：

scp可以实现服务器与服务器之间的数据拷贝。（from server1 to server2）

（2）基本语法

scp -r $pdir/$fname $user@hadoop$host:$pdir

命令递归要拷贝的文件路径/名称目的用户@主机:目的路径

2. rsync 远程同步工具

rsync主要用于备份和镜像。具有速度快、避免复制相同内容和支持符号链接的优点。

rsync和scp区别：用rsync做文件的复制要比scp的速度快，rsync只对差异文件做更新。scp是把所有文件都复制过去。

（1）基本语法

rsync -rvl $pdir/$fname $user@hadoop$host:$pdir

命令选项参数要拷贝的文件路径/名称目的用户@主机:目的路径

选项参数说明

表2-2

选项	功能
-r	递归
-v	显示复制过程
-l	拷贝符号连接

#!/bin/bash

#1 获取输入参数个数，如果没有参数，直接退出

pcount=$#

if((pcount==0)); then

echo no args;

exit;

#2 获取文件名称

p1=$1

fname=`basename $p1`

echo fname=$fname

#3 获取上级目录到绝对路径

pdir=`cd -P $(dirname $p1); pwd`

echo pdir=$pdir

#4 获取当前用户名称

user=`whoami`

#5 循环

for((host=101; host<104; host++)); do

echo ------------------- hadoop$host --------------

rsync -rvlt $pdir/$fname $user@hadoop$host:$pdir

done

3.1 集群配置

1. 集群部署规划

表2-3

hadoop102

hadoop103

hadoop104

HDFS

NameNode

DataNode

SecondaryNameNode

DataNode

YARN

NodeManager

ResourceManager

NodeManager

2. 配置集群

（1）核心配置文件

配置core-site.xml

[hadoop@hadoop102 hadoop]$ vi core-site.xml

在该文件中编写如下配置

<name>fs.defaultFS</name>

<value>hdfs://hadoop102:9000</value>

</property>

<name>hadoop.tmp.dir</name>

<value>/opt/module/hadoop-2.7.2/data/tmp</value>

</property>

（2）HDFS配置文件

配置hadoop-env.sh

[hadoop@hadoop102 hadoop]$ vi hadoop-env.sh

export JAVA_HOME=/opt/module/jdk1.8.0_144

配置hdfs-site.xml

[hadoop@hadoop102 hadoop]$ vi hdfs-site.xml

在该文件中编写如下配置

<name>dfs.replication</name>

</property>

<name>dfs.namenode.secondary.http-address</name>

<value>hadoop104:50090</value>

</property>

（3）YARN配置文件

配置yarn-env.sh

[hadoop@hadoop102 hadoop]$ vi yarn-env.sh

export JAVA_HOME=/opt/module/jdk1.8.0_144

配置yarn-site.xml

[hadoop@hadoop102 hadoop]$ vi yarn-site.xml

在该文件中增加如下配置

<name>yarn.nodemanager.aux-services</name>

<value>mapreduce_shuffle</value>

</property>

<name>yarn.resourcemanager.hostname</name>

<value>hadoop103</value>

</property>

（4）MapReduce配置文件

配置mapred-env.sh

[hadoop@hadoop102 hadoop]$ vi mapred-env.sh

export JAVA_HOME=/opt/module/jdk1.8.0_144

配置mapred-site.xml

[hadoop@hadoop102 hadoop]$ cp mapred-site.xml.template mapred-site.xml

[hadoop@hadoop102 hadoop]$ vi mapred-site.xml

在该文件中增加如下配置

<name>mapreduce.framework.name</name>

</property>

3．在集群上分发配置好的Hadoop配置文件

[hadoop@hadoop102 hadoop]$ xsync /opt/module/hadoop-2.7.2/

4．查看文件分发情况

[hadoop@hadoop103 hadoop]$ cat /opt/module/hadoop-2.7.2/etc/hadoop/core-site.xml

3.2 配置历史服务器

为了查看程序的历史运行情况，需要配置一下历史服务器。具体配置步骤如下：

1. 配置mapred-site.xml

[hadoop@hadoop101 hadoop]$ vi mapred-site.xml

在该文件里面增加如下配置。

<name>mapreduce.jobhistory.address</name>

<value>hadoop101:10020</value>

</property>

<name>mapreduce.jobhistory.webapp.address</name>

<value>hadoop101:19888</value>

</property>

<name>yarn.log.server.url</name>

<value>http://hadoop101:19888/jobhistory/logs</value>

</property>

2. 启动历史服务器

[hadoop@hadoop101 hadoop-2.7.2]$ sbin/mr-jobhistory-daemon.sh start historyserver

3. 查看历史服务器是否启动

[hadoop@hadoop101 hadoop-2.7.2]$ jps

4. 查看JobHistory

http://hadoop101:19888/jobhistory

3.3 配置日志的聚集

日志聚集概念：应用运行完成以后，将程序运行日志信息上传到HDFS系统上。

日志聚集功能好处：可以方便的查看到程序运行详情，方便开发调试。

注意：开启日志聚集功能，需要重新启动NodeManager 、ResourceManager和HistoryManager。

开启日志聚集功能具体步骤如下：

配置yarn-site.xml

[hadoop@hadoop101 hadoop]$ vi yarn-site.xml

在该文件里面增加如下配置。

<name>yarn.log-aggregation-enable</name>

</property>

<name>yarn.log-aggregation.retain-seconds</name>

</property>

3.4 群起集群

1. 配置slaves

/opt/module/hadoop-2.7.2/etc/hadoop/slaves

[hadoop@hadoop102 hadoop]$ vi slaves

在该文件中增加如下内容：

hadoop102

hadoop103

hadoop104

注意：该文件中添加的内容结尾不允许有空格，文件中不允许有空行。

2. 启动集群

（1）如果集群是第一次启动，需要格式化NameNode

[hadoop@hadoop102 hadoop-2.7.2]$ bin/hdfs namenode -format

（2）启动HDFS

[hadoop@hadoop102 hadoop-2.7.2]$ sbin/start-dfs.sh

[hadoop@hadoop102 hadoop-2.7.2]$ jps

4166 NameNode

4482 Jps

4263 DataNode

[hadoop@hadoop103 hadoop-2.7.2]$ jps

3218 DataNode

3288 Jps

[hadoop@hadoop104 hadoop-2.7.2]$ jps

3221 DataNode

3283 SecondaryNameNode

3364 Jps

（3）启动YARN

[hadoop@hadoop103 hadoop-2.7.2]$ sbin/start-yarn.sh

注意：NameNode和ResourceManger如果不是同一台机器，不能在NameNode上启动 YARN，应该在ResouceManager所在的机器上启动YARN。

（4）web端查看SecondaryNameNode

（a）浏览器中输入：http://hadoop104:50090/status.html

（b）查看SecondaryNameNode信息