大数据环境一键搭建？是的，文中附赠脚本

最新推荐文章于 2023-01-19 09:28:07 发布

桥路丶

最新推荐文章于 2023-01-19 09:28:07 发布

阅读量647

点赞数 2

分类专栏：大数据文章标签：大数据 hadoop

本文链接：https://blog.csdn.net/qq_33876553/article/details/112058818

版权

大数据专栏收录该内容

44 篇文章 7 订阅

订阅专栏

大数据集群一键搭建脚本？是的，这可以使你在10分钟之内，快速搭建起一套大数据学习环境，解放双手。如何操作？请看文中教程。

环境说明

操作系统及组件版本

各组件版本如下，学习环境尽量保持一致，避免版本不一致带来的操作问题。

集群规划

使用3台虚拟机来进行搭建集群，分别为Node01、Node02、Node03。集群的规划如下：

其中Hadoop一共3个节点，主节点搭建在Node01上，从节点在Node01-Node03上分别有一个。

虚拟机准备

安装说明&文件下载

下载并安装Virtual Box

准备并安装3台CentOS7.2的虚拟机，主机名命名为node01、node02、node03。

虚拟机的安装可以使用纯系统镜像，安装后配置主机名。但过程会比较繁琐，学习环境讲求开箱即用，尽量少的在环境上花费时间，否则会打击学习的热情。所以，也可以直接导入已经配置好的虚拟机镜像文件，方便使用。

使用纯镜像安装，在公众号【数舟】中回复【镜像】，获取纯净系统镜像。

推荐直接导入虚拟机镜像文件，在公众号【数舟】中回复【虚拟机】获取。

虚拟机镜像文件导入流程

下载虚拟机镜像文件

打开Virtual Box，选择导入虚拟电脑

选择文件位置，进行导入

配置虚拟机，自定义将虚拟机文件存放到指定目录，然后点击确定，完成导入

依次导入Node01、Node02、Node03

开启虚拟机，使用root/123456进行登录

修改虚拟机IP地址

vim /etc/sysconfig/network-scripts/ifcfg-enp0s3

使用XShell，或者其它远程SSH Linux登录工具进行远程连接虚拟机

自动化安装脚本准备

下载并上传自动化安装脚本automaticDeploy.zip到虚拟机node01中。

wget https://github.com/MTlpc/automaticDeploy/archive/master.zip

解压automaticDeploy.zip到/home/hadoop/目录下

mkdir /home/hadoop/
unzip master.zip -d /home/hadoop/
mv /home/hadoop/automaticDeploy-master /home/hadoop/automaticDeploy

更改自动化安装脚本的frames.txt文件，配置组件的安装节点信息（如无特殊要求，默认即可）

编辑自动化安装脚本的configs.txt文件，配置Mysql、Keystore密码信息（如无特殊要求，默认即可，末尾加END表示结束）

编辑host_ip.txt文件，将3台虚拟机节点信息添加进去（需自定义进行修改）

对/home/hadoop/automaticDeploy/下的hadoop、systems所有脚本添加执行权限

chmod +x /home/hadoop/automaticDeploy/hadoop/* /home/hadoop/automaticDeploy/systems/*

大数据环境一键安装

下载frames.zip包，里面包含大数据组件的安装包，并上传到node01中

链接：https://pan.baidu.com/s/17T3zIbedTaQgk1knxvchPA 
提取码：cvtq

将frames.zip压缩包，解压到/home/hadoop/automaticDeploy目录下

unzip frames.zip -d /home/hadoop/automaticDeploy/

将自动化脚本分发到其它两个节点

# 需提前在另外两个节点创建/home/hadoop目录(此时还未配置hosts，需将node02\node03替换为对应IP)
ssh root@node02 "mkdir /home/hadoop"
ssh root@node03 "mkdir /home/hadoop"
scp -r /home/hadoop/automaticDeploy root@node02:/home/hadoop/
scp -r /home/hadoop/automaticDeploy root@node03:/home/hadoop/

依次在各个节点执行systems/batchOperate.sh脚本，完成环境初始化

/home/hadoop/automaticDeploy/systems/batchOperate.sh

为了避免脚本中与各个节点的ssh因为环境问题，执行失败，需要手动测试下与其它节点的ssh情况，如果失败，则手动添加
失败后重新添加SSH
```
ssh-copy-id node02
```

在各个节点执行脚本，安装Hadoop集群

/home/hadoop/automaticDeploy/hadoop/installHadoop.sh
source /etc/profile
# 在Node01节点执行，初始化NameNode
hadoop namenode -format
# 在Node01节点执行，启动Hadoop集群
start-all.sh