大数据框架Spark基本安装

一.准备安装环境。

本人选择的是Ubuntu18.04LTS，总共三台主机，2台丛机，一台主机

二.安装JDK

将jdk压缩文件解压后配置环境变量JAVA_HOME，通过在、/etc/profile下最后面加入export。。。加入环境变量（环境变量千万别写错，不然可能开不了机了）

三.安装spark

将spark安装包解压后修改配置文件，由于是基本安装，因此只修改了spark-env.sh 和 slaves文件（刚刚解压安装的文件是template为后缀，需要将其改名）。

1.slaves文件：需要指明丛机的地址（如果配置了主机与IP映射可以直接写入丛机名，否则需要写入丛机IP地址）

2.spark-env.sh文件

1.首先要配置JDK位置

2.配置主机名

3.配置主机端口(默认端口是7077）

四.其他机器安装

通过scp命令将配置好的文件上传到其他机器，需要配置ssh免密登陆

scp  (-r) localfile usrname@hostname(or ip address):path

（如果机器过多可以通过shell脚本来启动）

五.启动spark集群