安装部署SPARK分布式集群

**********************************创建新的spark用户***************************************

1、指定新用户的家目录创建新用户

2、创建新用户组，并添加spark用户到新用户组

3、切换到spark用户，发现Tab键自动补齐功能不能使用，此时检查shell执行类型为/bin/sh，则切回root用户修改为/bin/bash即可

4、重新修改spark用户的密码

注意：若发现Delete、Backspace或者上下左右的小键盘不能使用，可执行如下操作进行设置：

【文件】->【打开】->找到需要修改的机器右键【属性】->【终端】->【键盘】->【DELETE键序列】、【BACKSPACE键序列】选择第二或者第三个

 

************************************下载jdk1.8安装包，并配置环境变量***************************************

先补充点知识：https://www.cnblogs.com/dengyungao/p/8426878.html

1、因此我们将jdk安装包放在/usr目录下，新建java目录，将jdk的tar包放入/usr/java目录下，并解压

2、修改spark用户的配置文件设置jdk环境变量，然后刷新spark用户的环境变量

3、检查spark用户的jdk版本

注意：这里只是给spark用户配置了jdk1.8的环境变量，若是想所有用户都生效，最好在系统篇日志文件/etc/profile中配置jdk的环境变量，因为是系统配置文件，此时只能用root用户修改配置文件

 

*****************************************下载scala安装包，并scala配置环境变量******************************************
1、将scala安装包放在/usr/local目录下

2、配置spark用户的scala环境变量

3、刷新spark用户的环境变量，检查已安装成功

当时我在执行下一步时报错：Permission denied，即没有可执行权限，执行chmod +x  bin/赋予可执行权限即可

注意：这里只是给spark用户配置了scala的环境变量，若是想所有用户都生效，最好在系统篇日志文件/etc/profile中配置scala的环境变量，因为是系统配置文件，此时只能用root用户修改配置文件

*************************************************安装部署spark***********************************************************

1、将spark安装包放在目录/usr/local下