Hadoop集群运行环境搭建

Hadoop集群运行环境搭建

一、搭建模板机

1、模板机需要事先配置好静态IP地址:192.168.10.100，主机名hostname:hadoop100。

2、关闭防火墙。

3、创建用户。

4、在/opt下新建文件夹software和module分别存储压缩包和解压后的文件。

5、在/ect/hosts配置主机名和IP地址的映射。

二、克隆三台虚拟机

1、修改虚拟机的静态IP地址和主机名（假定配置的三台为hadoop102 192.168.10.102,hadoop103 192.168.10.103,hadoop104 192.168.104）。

2、获取压缩包：将hadoop压缩包和jdkl包通过xftp远程传输到software中。

3、解压：将hadoop压缩包和jdk包通过tar -zxvf命令解压到module文件夹下。

4、配置环境变量：在/etc/profile.d文件夹下建立my_env.sh文件配置hadoop和jdk的环境变量。

5、ssh无密登录配置：在/home/用户名/.ssh下，配置无密码登录，需要在每个虚拟机下都进行这样的操作，并且还需要在第一台hadoop102虚拟机root/.ssh下配置root用户的无密登录。

6、文件分发脚本：在/home/用户名/bin下创建文件分发脚本 xsync，因为此路径是环境变量配置好的路径。

7、开始分发：分发module下的hadoop、jdk和home/用户名/xsync以及环境变量。

三、Hadoop集群配置

1、配置hadoop配置文件：hadoop /ect配置文件下的 core-site.xml、hdfs-site.xml、yarn-site.xml、mapred-site.xml、workers。脚本分发到其余虚拟机，并且在hadoop102上通过命令hdfs namenode -format格式化dfs，然后启动hdfs和yarn。

2、配置history服务器：hadoop /ect配置文件下的mapred-site.xml、脚本分发到其余虚拟机。

3、配置日志的聚集：hadoop /ect配置文件下的yarn-site.xml、脚本分发到其余虚拟机。

4、集群时间同步：sudo systemctl start ntpd、sudo systemctl is-enabled ntpd。