Hadoop 集群搭建

最新推荐文章于 2024-07-19 15:36:42 发布

_子栖_

最新推荐文章于 2024-07-19 15:36:42 发布

阅读量147

点赞数 1

分类专栏：集群搭建大数据文章标签： hadoop ssh linux

本文链接：https://blog.csdn.net/yao_wen_yu/article/details/120355241

版权

大数据同时被 2 个专栏收录

8 篇文章 0 订阅

订阅专栏

集群搭建

5 篇文章 1 订阅

订阅专栏

Hadoop 集群搭建

文章目录

- - Hadoop 集群搭建

一、搭建前准备

1、修改主机名称与映射关系

三台 LInux 服务器， ip为 192.168.98.128，192.168.98.130，192.168.98.131

修改三台服务器的 hostname 与 hosts 文件

修改内容如下：

# 三台服务器分别执行以下命令

# 执行命令，将三个服务器分别改为 node1，node2，node3
vi hostname

# 执行命令
vi /etc/hosts

# 添加如下内容：
192.168.98.128 node1
192.168.98.130 node2
192.168.98.131 node3

# 保存退出   :wq

# 执行命令  重启服务器
reboot

# 查看主机名称
hostname

2、修改 windows host文件

在这里插入图片描述

添加以下内容：

192.168.98.128 node1
192.168.98.130 node2
192.168.98.131 node3

3、配置 ssh

在 node1 上执行以下命令

# 需要输入密码  可输入 exit 退出
ssh node2
ssh node3

在 node2 上执行以下命令

# 需要输入密码  可输入 exit 退出 
ssh node1  
ssh node3

在 node3 上执行以下命令

# 需要输入密码  可输入 exit 退出
ssh node1
ssh node2

执行完毕以后回到根目录执行以下命令

ls -al  # 你会发现目录中含有 .ssh 文件

在这里插入图片描述

分别在 node1 ，node2，node3 上进入 .ssh 文件

# 执行以下命令
ssh-keygen -t rsa

ssh-copy-id node1
ssh-copy-id node2
ssh-copy-id node3

测试

重新使用 ssh node2 命令，就不用输入密码了

4、编写 xsync 同步脚本

安装 rsync

yarn -y install rsync

期望脚本在任何路径都能使用（脚本放在声明了全局环境变量的路径）

echo $PATH

在这里插入图片描述

在根目录下创建 bin 文件夹

# 依次执行以下命令

cd ~

mkdir bin

cd bin

vi xsync

在该文件中编写如下代码：

#!/bin/bash
#1. 判断参数个数
if [ $# -lt 1 ]
then
 echo Not Enough Arguement!
 exit;
fi
#2. 遍历集群所有机器
for host in node1 node2 node3
do
 echo ==================== $host ====================
 #3. 遍历所有目录，挨个发送
 for file in $@
 do
 #4. 判断文件是否存在
 if [ -e $file ]
 then
 #5. 获取父目录
 pdir=$(cd -P $(dirname $file); pwd)
 #6. 获取当前文件的名称
 fname=$(basename $file)
 ssh $host "mkdir -p $pdir"
 rsync -av $pdir/$fname $host:$pdir
 else
 echo $file does not exists!
 fi
 done
done

修改脚本 xsync 具有执行权限

# 执行命令
chmod +x xsync

测试脚本，将 /root/bin 下的文件分发到其他两台服务器

# 执行命令
xsync /root/bin

5、确保已经安装好了 JDK

没有安装可以查看：linux安装JDK

# 检查 jdk 是否安装

java -version

在这里插入图片描述

6、编写 jpsall 脚本，用于查看多态服务器的进程

还是在 /root/bin 目录下新建 jpsall文件

vi jpsall

编写以下内容：

#!/bin/bash
for i in node1 node2 node3
do
        echo ====================== $i ====================
        ssh root@$i '/opt/software/java/jdk-11.0.2/bin/jps'
done

保存退出

修改脚本 jpsall 具有执行权限

# 执行命令
chmod +x jpsall

分发到其他两台服务器

xsync /root/bin

测试

# 执行命令
jpsall

在这里插入图片描述

二、Hadoop 集群配置

1、集群部署规划

➢ NameNode 和 SecondaryNameNode 不要安装在同一台服务器

➢ ResourceManager 也很消耗内存，不要和 NameNode、SecondaryNameNode 配置在同一台机器上。

	node1	node2	node3
HDFS	`NameNode` DateNode	DateNode	`SecondaryNameNode` DateNode
YRAN	NodeManager	`ResourceManager` NodeManager	NodeManager

2、在 node1 上安装hadoop-3.2.2

解压文件

tar -zxvf hadoop-3.2.2.tar.gz

配置环境变量

vi /etc/profile

export HADOOP_HOME=/opt/software/hadoop/hadoop-3.2.2
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

使其生效

source /etc/profile

3、配置文件说明

Hadoop 配置文件分两类：默认配置文件和自定义配置文件，只有用户想修改某一默认配置值时，才需要修改自定义配置文件，更改相应属性值。

默认配置文件：

要获取的默认文件文件存放在 Hadoop 的 jar 包中的位置


core-default.xml	hadoop-common-3.2.2.jar/core-default.xml
hdfs-default.xml	hadoop-hdfs-3.2.3.jar/hdfs-default.xml
yarn-default.xml	hadoop-yarn-common-3.1.3.jar/yarn-default.xml
mapred-default.xml	hadoop-mapreduce-client-core-3.1.3.jar/mapred-default.xml

自定义配置文件：
core-site.xml、hdfs-site.xml、yarn-site.xml、mapred-site.xml 四个配置文件存放在$HADOOP_HOME/etc/hadoop 这个路径上，用户可以根据项目需求重新进行修改配置。

4、配置集群

核心配置文件配置 core-site.xml

# 进入 etc 文件夹
cd /opt/software/hadoop/hadoop-3.2.2/etc/hadoop

vi core-site.xml

加入以下内容: 保存退出

<!-- 指定 NameNode 的地址 -->
 <property>
	 <name>fs.defaultFS</name>
	 <value>hdfs://node1:8020</value>
 </property>
 
 <!-- 指定 hadoop 数据的存储目录 -->
 <property>
	 <name>hadoop.tmp.dir</name>
	 <value>/opt/software/hadoop/hadoop-3.2.2/data</value>
 </property>
 
 <!-- 配置 HDFS 网页登录使用的静态用户为 atguigu -->
 <property>
	 <name>hadoop.http.staticuser.user</name>
	 <value>admin</value>
 </property>

HDFS 配置文件配置 hdfs-site.xml

vi hdfs-site.xml

加入以下内容: 保存退出

<!-- 指定 NameNode 的地址 -->
<!-- nn web 端访问地址-->
<property>
	 <name>dfs.namenode.http-address</name>
	 <value>node1:9870</value>
</property>

<!-- 2nn web 端访问地址-->
<property>
	 <name>dfs.namenode.secondary.http-address</name>
	 <value>node3:9868</value>
</property>

YARN 配置文件配置 yarn-site.xml

vi yarn-site.xml

加入以下内容: 保存退出

<!-- 指定 MR 走 shuffle -->
 <property>
	 <name>yarn.nodemanager.aux-services</name>
	 <value>mapreduce_shuffle</value>
 </property>
 
 <!-- 指定 ResourceManager 的地址-->
 <property>
	 <name>yarn.resourcemanager.hostname</name>
	 <value>node2</value>
 </property>
 
 <!-- 环境变量的继承 -->
 <property>
	 <name>yarn.nodemanager.env-whitelist</name>
	<value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
 </property>

MapReduce 配置文件配置 mapred-site.xml

vi mapred-site.xml

加入以下内容: 保存退出

<!-- 指定 MapReduce 程序运行在 Yarn 上 -->
 <property>
	 <name>mapreduce.framework.name</name>
	 <value>yarn</value>
 </property>

配置 workers

vi workers

加入以下内容: 保存退出

node1
node2
node3

注意：该文件中添加的内容结尾不允许有空格，文件中不允许有空行。

5、将 node1 上的 hadoop 分发到其他两台服务器

xsync /opt/software/hadoop

去 node2 和 node 3 查看是否分发到
然后重新加载环境变量
source /etc/profile

6、启动集群

如果集群是第一次启动，需要在 node1 节点格式化 NameNode（注意：格式化 NameNode，会产生新的集群 id，导致 NameNode 和 DataNode 的集群 id 不一致，集群找不到已往数据。如果集群在运行过程中报错，需要重新格式化 NameNode 的话，一定要先停止 namenode 和 datanode 进程，并且要删除所有机器的 data 和 logs 目录，然后再进行格式化。）
在 node1 上格式化

hdfs namenode -format

在 node1 上启动 HDFS

[root@node1 hadoop-3.2.2]$ sbin/start-dfs.sh

注意
不出意外绝对会报错
在这里插入图片描述
解决办法：
将 start-dfs.sh，stop-dfs.sh(在hadoop安装目录的sbin里)两个文件顶部添加以下参数

HDFS_DATANODE_USER=root
HDFS_DATANODE_SECURE_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root

添加完成之后，记得分发到其他两台主机

重新启动

在 node2 上启动 YARN

[root@node2 hadoop-3.2.2]$ sbin/start-yarn.sh

注意
不出意外绝对会报错
在这里插入图片描述

解决方案：

将start-yarn.sh，stop-yarn.sh(在hadoop安装目录的sbin里)两个文件顶部添加以下参数

YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root

添加完成之后，记得分发到其他两台主机

重新启动

启动完毕之后使用 jpsall 脚本查看运行的进程

在这里插入图片描述

Web 端查看 HDFS 的 NameNode

（a）浏览器中输入：http://node1:9870
（b）查看 HDFS 上存储的数据信息
在这里插入图片描述

Web 端查看 YARN 的 ResourceManager

（a）浏览器中输入：http://node2:8088
（b）查看 YARN 上运行的 Job 信息

在这里插入图片描述

7、集群基本测试 -------- 上传文件到集群

# 创建 wcinput 文件夹
mkdir wcinput 
# 创建文件 word.txt  随便输入内容 用于测试


# 创建文件夹
hadoop fs -mkdir /input

hadoop fs -put $HADOOP_HOME/wcinput/word.txt /input

在这里插入图片描述

8、配置历史服务器

为了查看程序的历史运行情况，需要配置一下历史服务器。具体配置步骤如下：

配置 mapred-site.xml

vi mapred-site.xml

添加以下内容

<!-- 历史服务器端地址 -->
<property>
	 <name>mapreduce.jobhistory.address</name>
	 <value>node1:10020</value>
</property>

<!-- 历史服务器 web 端地址 -->
<property>
	 <name>mapreduce.jobhistory.webapp.address</name>
	 <value>node1:19888</value>
</property>

分发配置

xsync $HADOOP_HOME/etc/hadoop/mapred-site.xml

在 node1 启动历史服务器

mapred --daemon start historyserver

jps 查看

查看 JobHistory

http://node1:19888/jobhistory

在这里插入图片描述

9、配置日志的聚集

日志聚集概念：应用运行完成以后，将程序运行日志信息上传到 HDFS 系统上。

日志聚集功能好处：可以方便的查看到程序运行详情，方便开发调试。

注意：开启日志聚集功能，需要重新启动 NodeManager 、ResourceManager 和 HistoryServer。

开启日志聚集功能具体步骤如下：

配置 yarn-site.xml

vi yarn-site.xml

添加以下内容

<!-- 开启日志聚集功能 -->
<property>
	 <name>yarn.log-aggregation-enable</name>
	 <value>true</value>
</property>


<!-- 设置日志聚集服务器地址 -->
<property> 
	 <name>yarn.log.server.url</name> 
	 <value>http://node1:19888/jobhistory/logs</value>
</property>


<!-- 设置日志保留时间为 7 天 -->
<property>
	 <name>yarn.log-aggregation.retain-seconds</name>
	 <value>604800</value>
</property>

分发配置

xsync $HADOOP_HOME/etc/hadoop/yarn-site.xml

关闭 NodeManager 、ResourceManager 和 HistoryServer

# node2 执行
sbin/stop-yarn.sh

# node1 执行
mapred --daemon stop historyserver

启动 NodeManager 、ResourceManage 和 HistoryServer

# node2 执行
sbin/start-yarn.sh

# node1 执行
mapred --daemon start historyserver

执行 WordCount 程序

hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount /input /output

在这里插入图片描述

查看日志

（1）历史服务器地址

http://node1:19888/jobhistory

WtkOagll8=,size_20,color_FFFFFF,t_70,g_se,x_16)

在这里插入图片描述

（2）历史任务列表
在这里插入图片描述

（3）日志

在这里插入图片描述

三、编写 Hadoop 集群脚本

在 /root/bin 目录下

# 新建 myhadoop.sh
vi myhadoop.sh

编写以下内容

#!/bin/bash
if [ $# -lt 1 ]
then
	echo "No Args Input..."
	exit ;
fi

case $1 in
	"start")
	echo " =================== 启动 hadoop 集群 ==================="

	echo " --------------- 启动 hdfs ---------------"
	ssh node1 "/opt/software/hadoop/hadoop-3.2.2/sbin/start-dfs.sh"
	echo " --------------- 启动 yarn ---------------"
	ssh node2 "/opt/software/hadoop/hadoop-3.2.2/sbin/start-yarn.sh"
	echo " --------------- 启动 historyserver ---------------"
	ssh node1 "/opt/software/hadoop/hadoop-3.2.2/bin/mapred --daemon start historyserver"
;;
	"stop")
	echo " =================== 关闭 hadoop 集群 ==================="

	echo " --------------- 关闭 historyserver ---------------"
	ssh node1 "/opt/software/hadoop/hadoop-3.2.2/bin/mapred --daemon stop historyserver"
	echo " --------------- 关闭 yarn ---------------"
	ssh node2 "/opt/software/hadoop/hadoop-3.2.2/sbin/stop-yarn.sh"
	echo " --------------- 关闭 hdfs ---------------"
	ssh node1 "/opt/software/hadoop/hadoop-3.2.2/sbin/stop-dfs.sh"
;;
*)
	echo "Input Args Error..."
;;
esac

修改脚本 myhadoop.sh 具有执行权限

# 执行命令
chmod +x myhadoop.sh

分发到其他服务器

xsync /root/bin

测试

停止
启动

到此集群搭建完毕

_子栖_

关注

1
点赞
踩
2

收藏

觉得还不错? 一键收藏
打赏
0
评论
Hadoop 集群搭建

Hadoop 集群搭建文章目录Hadoop 集群搭建一、搭建前准备1、修改主机名称与映射关系2、修改 windows host文件3、配置 ssh4、编写 xsync 同步脚本5、确保已经安装好了 JDK6、编写 jpsall 脚本，用于查看多态服务器的进程二、Hadoop 集群配置1、集群部署规划2、在 node1 上安装hadoop-3.2.23、配置文件说明4、配置集群5、将 node1 上的 hadoop 分发到其他两台服务器6、启动集群7、集群基本测试 -------- 上传文件到
复制链接

扫一扫