基于虚拟机搭建Hadoop大数据平台集群

当前大数据发展越来越快，技术要求也越来越高，岗位需求也越来越多，Hadoop作为大数据技术的基础，会搭建Hadoop大数据平台对于从业人员成为了一个基本的能力，以下介绍两台虚拟机搭建hadoop集群。

（一）基于wmware创建虚拟机并安装Centos7操作系统，作为大数据集群的master节点。

（1）修改网卡配置文件,不同版本的linux的网卡文件名字（ifcfg-ens33）不同，根据实际情况找到网卡文件，修改。

#vi /etc/sysconfig/network-scripts/ifcfg-ens33

BOOTPROTO=static #修改

ONBOOT=yes #修改

IPADDR=192.168.126.128

NETMASK=255.255.255.0

GATEWAY=192.168.126.2

DNS1=114.114.114.114

DNS2=8.8.8.8

（2）重启网络

#systemctl restart network

（3）查看IP地址

#ip a

用终端工具crt进行连接。

（4）安装及配置JDK

 

4.1 打开文件传输工具secureFX,把JDK的压缩包jdk-8u231-linux-x64.tar.gz上传到/opt/下。

4.2 创建目录/usr/jdk64

#mkdir /usr/jdk64

4.3 解压JDK的压缩包jdk-8u231-linux-x64.tar.gz到/usr/jdk64

#tar -zxvf /opt/jdk-8u231-linux-x64.tar.gz -C /usr/jdk64

4.4配置环境变量，在最后面添加内容

#vi /etc/profile

export JAVA_HOME=/usr/jdk64/jdk1.8.0_231

export PATH=$JAVA_HOME/bin:$PATH

4.5 重新加载/etc/profile

#source /etc/profile

4.6 验证java版本

#java -version

（5）安装及配置hadoop（2.8.5版本）

5.1把hadoop-2.8.5.tar.gz上传到/opt/目录下

5.2解压hadoop-2.8.5.tar.gz到/usr/local/

#tar -zxvf /opt/hadoop-2.8.5.tar.gz -C /usr/local/

5.3修改hadoop的配置文件。

1)core-site.xml 在<configuration>里面添加如下内容

<property>

<name>fs.defaultFS</name>

<value>hdfs://master:8020</value>

</property>

<property>

<name>hadoop.tmp.dir</name>

<value>/var/log/hadoop/tmp</value>

</property>

2）hadoop-env.sh，把下面的这一行内容的注释#去掉，并修改=后面的值。

export JAVA_HOME=/usr/jdk64/jdk1.8.0_231

3)yarn-env.sh 把下面的这一行内容的注释#去掉，并修改=后面的值。

export JAVA_HOME=/usr/jdk64/jdk1.8.0_231

4)mapred-site.xml 在<configuration>里面添加如下内容

<property>

<name>mapreduce.framework.name</name>

<value>yarn</value>

<description>设置资源调度</description>

</property>

<property>

<name>mapreduce.jobhistroy.address</name>

<value>master:10020</value>

</property>

<property>

<name>mapreduce.jobhistroy.webapp.address</name>

<value>master:19888</value>

</property>

5）yarn-site.xml 在<configuration>里面添加如下内容

<property>

<name>yarn.nodemanager.aux-services</name>

<value>mapreduce_shuffle</value>

</property>

6)slaves 把localhost删掉，添加如下内容

master

slave1

7）hdfs-site.xml 在<configuration>里面添加如下内容

<property>

<name>dfs.namenode.name.dir</name>

<value>file:///data/hadoop/hdfs/name</value>

</property>

<property>

<name>dfs.datanode.data.dir</name>

<value>file:///data/hadoop/hdfs/data</value>

</property>

<property>

<name>dfs.namenode.secondary.http-address</name>

<value>master:50090</value>

</property>

<property>

<name>dfs.replication</name>

<value>3</value>

</property>

(6)在wmware关闭虚拟机。克隆出一台新的虚拟机。

（7）启动克隆出的新的虚拟机，修改网卡配置文件,然后重启网络（在wmware中操作）。

#vi /etc/sysconfig/network-scripts/ifcfg-ens33

修改UUID的最后一个字符，改成不一致即可。

IPADDR=192.168.126.129

#systemctl restart network

（8）启动原来的虚拟机，用终端crt重新连接两台机器。

master（128）节点：

（9）修改主机名

 

# hostnamectl set-hostname master

# bash

 

（10）修改配置文件/etc/hosts，添加以下两行内容

# vi /etc/hosts

192.168.126.128 master master.centos.com

192.168.126.129 slave1 slave1.centos.com

(11)通过网络复制的命令scp把/etc/hosts/复制到slave1节点。yes 000000

#scp /etc/hosts root@slave1:/etc/

 

（12）配置ssh无秘钥登录,三次回车

#ssh-keygen -t rsa

（13）复制秘钥到对应的主机. yes 000000

#ssh-copy-id -i /root/.ssh/id_rsa.pub master

#ssh-copy-id -i /root/.ssh/id_rsa.pub slave1

 

（14）安装ntpd服务

#yum install ntp -y

(15)配置ntp,注释掉原来的server，在下面添加新的两行内容

#vi /etc/ntp.conf

#server 0.centos.pool.ntp.org iburst

#server 1.centos.pool.ntp.org iburst

#server 2.centos.pool.ntp.org iburst

#server 3.centos.pool.ntp.org iburst

 

 

server 127.127.1.0

fudge 127.127.1.0 stratum 10

 

（16）启动ntp服务并加入随机启动，关闭防火墙

#systemctl start ntpd

#systemctl enable ntpd

#systemctl stop firewalld

 

slave1（129）节点：

（17）修改主机名

#hostnamectl set-hostname slave1

#bash

 

(18)检查一下/etc/hosts文件里面的内容是否已经修改

#cat /etc/hosts

192.168.126.128 master master.centos.com

192.168.126.129 slave1 slave1.centos.com

 

(19)安装ntpdate服务

#yum install ntpdate -y

 

(20)同步master节点的时间，如果出错，关闭master的防火墙

#ntpdate master

 

（21）把ntpdate加入随机启动。

#systemctl enable ntpdate

master（128）节点：

（22）配置环境变量/etc/profile，在JAVA_HOME下面添加HADOOP_HOME,并修改PATH

export JAVA_HOME=/usr/jdk64/jdk1.8.0_231

export HADOOP_HOME=/usr/local/hadoop-2.8.5

export PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$PATH

 

(23)重新加载/etc/profile

#source /etc/profile

 

（24）格式化HDFS文件系统

#hdfs namenode -format

 

(25)启动

#sh /usr/local/hadoop-2.8.5/sbin/start-all.sh

(26)检查启动结果

打开浏览器输入

http://192.168.126.128:50070

 

如果打不开的话，检查防火墙是否运行。

#systemctl status firewalld

#systemctl stop firewalld