快速部署vmware11下centos7虚拟机的Spark 2.2.0集群（附通俗解释，小白也可上手！）

最近想要学习一下spark，买了本书来学习，但未曾想到是如此不靠谱，作者非常不负责任，于是在查阅大量前辈记录的文档结合我自己的实践后形成了这篇博客。

欢迎各位童鞋交流和指教！

注：本文部署的standalone模式的Spark

----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------

系统软件环境：

Win10（64），vmware11，centos7（64），jdk1.8，hadoop2.6（或更高）,scala2.12.4，spark2.2.0

集群网络环境：

IP地址	机器名	类型	用户名
192.168.254.128	master	NameNode/Master	liu
192.168.254.129	slave1	DataNode/Worker	liu
192.168.254.130	slave2	DataNode/Worker	liu

 

1. vmware11自定义安装，全选，设置安装和共享虚拟机路径，https端口保持默认，输入注册码完成安装。

2. Centos7安装，首先在电脑bios设置intel-vtx有效，点开vmware创建新的虚拟机，典型，选择安装的iso文件，用户名liu，密码ndsc，设置安装路径，分配40g内存，选择自定义组件配置如图1所示，安装即可。

（注意虚拟机的安装路径不要和vmware11的安装路径在一起，否则会无法创建新虚拟机）

 

图1

安装完后可以设置终端的快捷键，applications→system tool→setting找到键盘，添加，命名Terminal，命令/usr/bin/gnome-terminal，快捷键edit然后按你要的快捷键（我的是ctrl+alt+t），然后add，完毕。

如果系统的界面语言和输入法想设置为中文，system tool→setting→region and language（第一栏的一面小旗子），输入法选择中文（pingyin）然后自动重启就好。

打开firefox设置首页为www.baidu.com。

安装jdk，先看下有没有预装好的java，java -version，

rpm -qa | grep java 看系统自带的openjdk

然后通过    rpm -e --nodeps   后面跟系统自带的jdk名   这个命令来删除系统自带的jdk，

 

图2

图2中带箭头的删掉。

root权限下

mkdir /usr/java

mv /home/liu/文档/jdk...... /usr/java/

tar -zxvf jdk.....

配置环境变量

gedit /etc/profile

（注：/etc/profile是全局性的环境变量，~/.bash_profile是每个用户下的环境变量设置

试一下都用全局环境变量）

在最后加入以下环境变量：

<