三节点大数据环境安装教程1

说明:

1.教程中出现字体加粗和加红的说明需要大家仔细阅读，按照步骤进行安装，都是比较重要的细节，如果有同学忘记或者跳过说明的步骤，环境大家的过程中问题会非常的多.

1.下载CentOS7

1.百度搜索centos–>2.点击centos官网连接–>3.点击DVD ISO–>4.点击http://ap.stykers.moe/centos/7.6.1810/isos/x86_64/CentOS-7-x86_64-DVD-1810.iso连接进下载.

2.安装虚拟机管理软件

Windows安装教程

Mac安装教程

VMware Fusion配置Nat静态IP - zhishengqianjun的博客 - CSDN

安装完成虚拟机会在桌面上生成虚拟机快捷方式

3.创建虚拟机

3.1 启动虚拟机管理软件

安装完成虚拟机管理软件后，双击桌面的快捷方式

点击文件–>点击新建虚拟机–>默认选择典型(推荐)(T)–>点击下一步

点击"稍后安装操作系统"–>点击下一步

选择Linux(L)–>选择CentOS7 64 位–>点击下一步

输入名称：BaseCentos7，选创建一个基本的虚拟机，后的集群节点从此虚拟机上进行克隆而来

输入完虚拟机名称后，

1.点击浏览–>选择虚拟机位置–>选择这台电脑–>选择并展开本地磁盘C

2.在磁盘创建一下层级文件夹myprogram（虚拟机存放根目录）–>3nodesvm–>basecentos(虚拟机存放目录)

3.选择C:\myprogram\3nodesvm\basecentos目录作为BaseCentos7的存储目录

4.在C:\myprogram\3nodesvm\目录下一次创建node1,node2,node3用于存储后续分别三个节点的虚拟机磁盘文件。

5.选择完basecentos目录后点击下一步.

修改最大磁盘大小从默认的20G修改为200G（一次性修改的大一些，集群运行的过程中会产生大量文件，默认20G不够用）

点击完成，来完成虚拟机的创建，稍等两三秒会看到创建的虚拟机

这样虚拟就就已经创建好了

3.2 修改内存和CPU

点击内存–>选择内存–>在右侧输入2048调整虚拟机内存为2G

继上一步操作，输入完内存值后，选择CPU,选择处理器数量和内核数量均为2

3.3 选择Centos7的镜像文件

如下两张图:

1.点击CD/DVD

2.点击CD/DVD(IDE)

3.点击使用ISO镜像文件

4.点击浏览

5.选择刚开始下载的centos7系统的镜像文件

6.点击打开

7.点击确认,完成镜像文件的选择

点击确认

3.4 centos系统安装

点击开始此虚拟机

点击我已完成安装

等待自动倒计时为0后自动开始系统安装…

1.点击安装Tools,2.点击Continue
点击DATE&TIME
选择时区，点击Done

点击INSTALLATION SOURCE

选择磁盘，点击Done

磁盘选择完成后，Begin installation会变成蓝色可用状态，点击Begin installation继续下一步

点击设置管理员root用户的密码为root和用户名一样,方便记忆.

等待安装进度完成，至此完美的开始已经成功了一半，耐心等待吧…

安装完成，点击Reboot重新启动.

重启后，显示localhost login :(冒号)后有个不停闪烁的白色短横杠，其中localhost表示当前主机名称,至此虚拟机安装完成.

输入用户名root,输入密码:root,此时只需要输入密码即可，但是界面上不显示,输入完成后回车，登录成功

登录成功后显示[root@localhost ~]#

输入init 0命令回车关闭centos linux系统，接下载对刚安装好的虚拟机做快照，以防止软件安装过程中出错可以使用快照还原到系统刚安装好的状态.

4.创建快照

按照1-5的步骤提示操作创建快照，6,7,8方式查看创建的快照,后期操作的关键步骤建议大家创建快照.

4.环境配置

创建完快照后启动虚拟机,使用root用户和root密码登录系统.

4.1 停止防火墙

#停止防火墙
[root@localhost ~]#systemctl stop firewalld
#禁止防火墙随着系统启动而启动
[root@localhost ~]#systemctl disable firewalld
#查看防火墙状态
[root@localhost ~]#systemctl status firewalld

4.2 禁用selinux

#将SELINUX的值设置为disabled
[root@localhost ~]# vi/etc/selinux/config
#查看是否设置完成
[root@localhost ~]# cat /etc/selinux/config

5.3 设置虚拟机网路

BaseCentos–>右键选择设置打开虚拟机设置

选择网络适配器–>选择自定义(U):特定虚拟网络–>确定,完成虚拟机网络设置.

5.安装xshell工具

​ 使用这个工具可以很方便的操作linux，比如连接linux的命令行，通过xftp文件文件传输工具可以向linux中上传文件.一般我们已经给同学提供了如下的xhsell安装程序包.

5.1 xshell安装

5.2 xftp安装

7.上传jdk

将已经下载好的jdk上传到我们已经安装好的linux系统中,默认我们使用root用户安装jdk。

这时我们就需要使用xftp上传jdk安装包

点击xftp按钮，打开xftp工具

在左侧选择linux环境下的jdk安装包,鼠标按住左键直接拖到右侧后放开鼠标，可以看到上传进度.

上传完成后我们就可以关闭xftp窗口,回到xshell命令窗口。

8.安装JDK

至此我们已经通过xftp工具将jdk的安装包上传到linux的root用户工作目录下，接下来我们进行安装.

8.1 安装jdk

[root@localhost ~]# rpm -ivh jdk-8u211-linux-x64.rpm

1.查找到jdk的安装目录

#首先使用find命令找到java的安装目录
[root@localhost ~]# find / -name java
/etc/alternatives/java
/etc/pki/ca-trust/extracted/java
/etc/pki/java
/var/lib/alternatives/java
/usr/bin/java
/usr/java
#java(jdk)的安装目录
/usr/java/jdk1.8.0_211-amd64/bin/java
/usr/java/jdk1.8.0_211-amd64/jre/bin/java
[root@localhost ~]# 

2.配置环境变量

使用vi命令修改root家目录下的.bash_profile文件

[root@localhost ~]# vi .bash_profile

# .bash_profile

# Get the aliases and functions
if [ -f ~/.bashrc ]; then
        . ~/.bashrc
fi

# User specific environment and startup programs
#java环境变量
JAVA_HOME=/usr/java/jdk1.8.0_211-amd64
#java环境变量加入到path中
PATH=$PATH:$HOME/bin:$JAVA_HOME/bin

export JAVA_HOME
export PATH
~                                                                                                                                                                                    #先按下键盘左上角的esc建 ，然后按住shift输入:(冒号),在输入wq!(强制保存)
:wq!
[root@localhost ~]# vi .bash_profile
#使用source命令使配置的环境变量生效
[root@localhost ~]# source .bash_profile
#使用java -version命令查看java环境变量配置是否成功
[root@localhost ~]# java -version
#显示java version "1.8.0_211" 表示java环境变量(JAVA_HOME)已经配置成功.
java version "1.8.0_211"
Java(TM) SE Runtime Environment (build 1.8.0_211-b12)
Java HotSpot(TM) 64-Bit Server VM (build 25.211-b12, mixed mode)
[root@localhost ~]# 

9.配置时间同步

​ 后期搭建大数据集群内时需要个个节点之间的时间保持一样，所以我们搭建集群时需要进行节点和时间中心的时间同步。

9.1 安装时间同步软件

使用命令:yum install -y ntpdate 安装时间同步软件（yum是个linux下的一个在线软件安装工具，大家先简单使用下，我们后续课程中会讲解到）

[root@localhost ~]# yum install -y ntpdate
Loaded plugins: fastestmirror
Determining fastest mirrors
 * base: mirrors.tuna.tsinghua.edu.cn
 * extras: mirrors.tuna.tsinghua.edu.cn
 * updates: mirrors.tuna.tsinghua.edu.cn
base                                                                     | 3.6 kB  00:00:00     
extras                                                                   | 3.4 kB  00:00:00     
.
.
.


Complete!

9.2 配置定时时间同步

#使用crontab  -e命令添加定时时间同步配置
[root@localhost ~]# crontab  -e   
#执行crontab -e命令后，按键盘上的字母i进入编辑模式,输入一下内容，然后按一下键盘左上角的esc进行命令模式，按主shift输入:(冒号),在输入wq!回车完成保存.
#以下配置的意思是每分钟同步一次时间
*/1 * * * * /usr/sbin/ntpdate us.pool.ntp.org;
~                                                                                                                                                                                            
:wq!

#等待一分钟左右使用date命令查看系统时间是否同步
[root@localhost ~]# date
Sun Jun 30 10:51:17 CST 2019
[root@localhost ~]# 

10.安装网络工具net-tools

net-tools是linux系同下的一个网络故障排查工具,工作中我们经常使用它查看集群网络运行情况,在这里大家先简单安装即可，学习过程中老师断断续续会给大家讲解到.

[root@localhost ~]# yum install -y net-tools
Loaded plugins: fastestmirror
Loading mirror speeds from cached hostfile
 * base: mirrors.tuna.tsinghua.edu.cn
 * extras: mirrors.tuna.tsinghua.edu.cn
 * updates: mirrors.tuna.tsinghua.edu.cn
Resolving Dependencies
--> Running transaction check
---> Package net-tools.x86_64 0:2.0-0.24.20131004git.el7 will be installed
--> Finished Dependency Resolution

Dependencies Resolved

================================================================================================
 Package             Arch             Version                              Repository      Size
================================================================================================
Installing:
 net-tools           x86_64           2.0-0.24.20131004git.el7             base           306 k

Transaction Summary
================================================================================================
Install  1 Package

Total download size: 306 k
Installed size: 918 k
Downloading packages:
net-tools-2.0-0.24.20131004git.el7.x86_64.rpm                            | 306 kB  00:00:00     
Running transaction check
Running transaction test
Transaction test succeeded
Running transaction
  Installing : net-tools-2.0-0.24.20131004git.el7.x86_64                                    1/1 
  Verifying  : net-tools-2.0-0.24.20131004git.el7.x86_64                                    1/1 

Installed:
  net-tools.x86_64 0:2.0-0.24.20131004git.el7                                                   

Complete!
[root@localhost ~]# 

11.克隆虚拟机

为了保证我们所有机器环境的配置是一致的,我们需要克隆虚拟机，同时我们只需要在一台虚拟机上安装好linux操作系统，克隆后的机器上也安装好了linux系统，这样节省了我们重复安装linux系统的时间,同时减少了我们多台主机系统之间配置不一致的错误.

至此我们需要搭建三台机器的集群，就需要三台机器。我们通过一台机器克隆出三台来。

11.1.关闭当前运行的虚拟机

克隆虚拟机时需要关闭当前运行的虚拟机.

[root@localhost ~]# init 0 #输入init 0 完成后回车

此时我们会发现xshell的连接basecentos会话已经关闭