大数据集群之配置虚拟机集群

1. 大数据集群之配置虚拟机集群
2. 大数据集群指Hadoop集群（HA）

本文章是在window平台上安装四个虚拟机作为学习大数据平台的集群

前提准备

1.安装虚拟机软件VMware，这里提供一个安装教程链接参考
2.获取一个Linux镜像，我这里使用的是CentOS7 64位,提供一个参考链接

安装CentOS

先创建一个文件夹，方便管理集群

点击左上角文件新建虚拟机，选择典型，下一步

选择自己的虚拟机镜像，下一步

全名随便，用户名也是自取，密码最好简单点我这里是a，root用户也是使用这个密码，下一步

虚拟机名，我这里为node1，也建议大家也使用，选择空间够大的安装路径，下一步

这一步默认，20G的磁盘空间够用了，下一步

点击自定义硬件，可调整虚拟机的内存和处理器数目，根据自己电脑配置来配置虚拟机的配置，如果你的电脑内存只有8G那我建议你只给虚拟机分配1G的内存，不然你会因为内存不够无法启动，或者很卡。电脑配置高的同学可以适当提高虚拟机的配置。网络适配器选择NAT，即使用自定的ip地址。点击完成等待安装。


安装完成后是一个图形化界面的系统，我们只需要指令行系统就行，这样还能减少虚拟机内存的使用。 点击左上角的Applications在点击Terminal进入控制台

如果图中没有红框最前面不是以root开头的（如果是则跳过此步），说明你没有使用root账号登陆，可以运行ssh root@localhost 使用root用户登陆，密码为你创建虚拟机时填的密码，我这里是为a

运行以下操作
终端输入init 3 回车进入命令行，且换成命令行模式，使用root账号登陆
systemctl get-default获得当前系统启动模式（mult-user.target 为命令行）
systemctl set-default multi-user.target 将图形改为命令行
reboot #重启
重启后如果为命令行模式则设置成功

如果需要该回去可以运行以下命令
（systemctl set-default graphical.target 将命令行改成图形）

重启后显示以下界面则设置成功（学习中我们一般都是使用root用户进行操作）

配置VMware 网络

这里有老师的详细配置过程给大家参考 网络配置
点击编辑，进入到虚拟网络配置器，点击NAT模式，再点击在右下角的更改设置

再次选择NAT模式，圈出来的地方希望大家保持一致，懂网络配置的同学可以自行修改网络地址，不是很懂的同学照着来就行了。

打开Windows的网络控制中心

修改虚拟机网卡的Ipv4配置

设置虚拟机系统网络

cd /etc/sysconfig/network-scripts/
ls
vi ifcfg-ens32  # 文件名为下图中文件名 按i进入修改模式

修改配置，修改了圈出来的地方，本没有的则添加进去

重启网络服务

service network restart

检查是否配置成功

ifconfig  # 查看网络配置

红框中显示为你配置的ip地址，再ping一下百度 ping www.baidu.com 如果成功则说明网络配置成功。

使用其他方式连接虚拟机

到这里虚拟机集群配置算是完成了一半了。

接下来我不再直接在VMware中操作虚拟机了，我们操作Liunx系统一般都是使用其他连接工具远程登陆虚拟机如：xshell，但是原理基本都是用ssh去登陆虚拟机。

Windows10 现在也默认加入了ssh Client 功能（ssh server 也有 但是选哟自行安装），我们可以直接在CMD控制台中输入ssh root@192.168.36.100 @后面为虚拟机地址，root表示使用root用户登陆，也可以使用Windows的powerShell控制台连接，当然如果你安装了GIT，也可以在Git Bash中进行同样的操作。

接下的操作中我将使用powerShell远程连接虚拟机。

配置基础环境

同步时间
安装 ntp命令: yum install ntp -y
选择一台服务器同步时间： ntpdate -u ntp1.aliyun.com
修改时区：ln -sf /usr/share/zoneinfo/Asia/Shanghai /etc/localtime

安装jdk
查看是否有自带的jdk，一般系统会自带一个openJdk。

rpm -qa | grep java  # 查看Java版本

删除自带的JDK（注意自己的版本）

rpm -e --nodeps java-1.8.0-openjdk-headless-1.8.0.222.b03-1.el7.x86_64

将带openjdk的都删除，删除后 source /etc/profile

安装自己的JDK Liunx版,提供一个下载地址
链接：https://pan.baidu.com/s/1LwjzQr96WktfGXjSm1NI2Q
提取码：ydta

上传至Linux
（powerShell和CMD控制台中使用scp上传失败）
最后使用Git Bash 上传成功，可以使用xftp上传
本地控制 cd 至本地 jdk8-linux.tar.gz 位置运行一下命令

scp jdk8-linux.tar.gz root@192.168.36.100:/usr/sofware

切换到虚拟机控制台，运行一下命令

cd /usr/software  
tar -zxvf jdk8-linux.tar.gz   # 解压
mv jdk1.8.0_65/ jdk1.8  
mv jdk1.8 /usr/local/java1.8/ 
vi /etc/profile

在最下面添加，保存退出，运行 source /etc/profile，测试。

配置hosts文件
hosts文件是系统中的地址映射文件

vi /etc/hosts

文件中添加

说名：每一行的前半段为地址，后面为对该地址的别名，目前我们只配置了第一台node1。 配置好地址映射后，我们就可以ssh root@node1（如果不写root@则默认为当前用户名，因为我们使用的都是root用户，所有以后登陆其他虚拟机直接可以写成 ssh node1， 如果想要在本机电脑使用则需要在自己本机电脑中配置hosts文件）这种形式连接其他虚拟机。其他几台我们稍后就配置。

到这里第一台虚拟机配置成功。

配置剩余3台虚拟机

回到VMware，关闭虚拟机。 为刚刚安装好的虚拟机拍摄快照

点击拍摄快照

关闭此虚拟机，点击管理此虚拟机快照

选择刚刚创建好的虚拟机点击克隆

下一步

下一步

磁盘空间足够的同学建议使用完整克隆，这样在出问题的时候可以减少连带错误。

取名为node2， 最好放置在和node1在同一目录下，便于管理

点击完成等待安装
这样第二台虚拟机创建完成了

修改网络地址

cd /etc/sysconfig/network-scripts/
ls
vi ifcfg-ens32  # 文件名为下图中文件名 按i进入修改模式

只需要将ip地址改成 192.168.36.101 就行了

重启网络服务

service network restart

检查是否配置成功

ifconfig  # 查看网络配置

修改主机名

hostname node2
reboot  # 重启后查看主机名是否变了

这样第二台虚拟机就配置好了

重复第二的操作从node1创建的快照中克隆出第三台和第四台，唯一要注意的是ip地址和主机名不同，不能照搬node2的。

下一篇就开始安装Hadoop集群