spark的安装

伪分布环境安装

安装步骤：

1、解压：tar -zxvf spark-2.1.0-bin-hadoop2.7.tgz -C ~/training/
2、核心的配置文件：conf/spark-env.sh
cp spark-env.sh.template spark-env.sh
参数：
export JAVA_HOME=/root/training/jdk1.8.0_181
export SPARK_MASTER_HOST=bigdata111
export SPARK_MASTER_PORT=7077
因为spark的启动命令和hadoop启动命令是一样的，所有这里不再为spark配置环境变量
启动：sbin/start-all.sh
Web Console：端口8080
在浏览器中查看spark客户端

全分布环境安装

安装步骤

在bigdata112上搭建
解压：tar -zxvf spark-2.1.0-bin-hadoop2.7.tgz -C ~/training/
核心的配置文件：conf/spark-env.sh
cp spark-env.sh.template spark-env.sh
参数：
export JAVA_HOME=/root/training/jdk1.8.0_181
export SPARK_MASTER_HOST=bigdata112
export SPARK_MASTER_PORT=7077

		[root@bigdata112 conf]# cp slaves.template slaves
		[root@bigdata112 conf]# vi slaves
			bigdata113
			bigdata114
	
	scp -r spark-2.1.0-bin-hadoop2.7/ root@bigdata113:/root/training
	scp -r spark-2.1.0-bin-hadoop2.7/ root@bigdata114:/root/training