【服务器】（四）阿里云ECS上搭建Hadoop集群环境——设置(真分布式)Spark与Scala

一、(主、从服务器都要)安装Scala2.11.8版：

1.1装载压缩包

	cd /home/test/Downloads
	
	tar -zxvf  /home/test/Downloads/scala-2.11.8.tgz -C /home/test/install/

1.2配置环境

	cd /home/test/install
	vim /etc/profile
	#文件内容如下：
	export SCALA_HOME=/home/test/install/scala-2.11.8
	export PATH=$PATH:$SCALA_HOME/bin

1.3在命令行中检测安装

	#更新环境配置
	source /etc/profile
	#查看安装情况
	scala -version

二、(主、从服务器都要)安装spark:

【说明】以下，非说明都只是在“master(主)服务器端操作”
【说明】以下，非说明都只是在“master(主)服务器端操作”
【说明】以下，非说明都只是在“master(主)服务器端操作”

2.1装载安装包并配置环境

1. 装载压缩包

	cd /home/test/Downloads
	
	tar -zxvf  /home/test/Downloads/spark-2.2.0-bin-2.6.0-cdh5.14.0.tgz -C /home/test/install/

2. 配置系统环境

	vim /etc/profile
	#spark
	export SPARK_HOME=/home/test/install/spark-2.2.0-bin-2.6.0-cdh5.14.0
	export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin

3. 更新系统配置

	source /etc/profile

2.1.查看spark安装包

	cd /home/test/install/spark-2.2.0-bin-2.6.0-cdh5.14.0	#进入，spark安装路径
	spark-shell	#查看版本，:quit	#退出scala

1. spark_shell
   
2. 退出scala
   

2.2.阿里云开放4040、8888以及8000端口

【说明】4040(spark_Job型UI)端口见你开启spark_shell提示的WebUi描述。见上上图

【说明】8888(overView型网页UI所需端口)、8000(另一个overView型默认UI——本地我打不开)也要打开阿里云安全组。

2.3 (Master端)配置spark

2.3.1.修改配置文件

【说明】：在Master端编辑配置文件，之后，待slave安装完spark后，再把Master端的配置文件传输过去，之后再slave端不必整改。

① 进入编辑"spark-env.sh "：

	#1.进入修改文件
	cd /home/test/install/spark-2.2.0-bin-2.6.0-cdh5.14.0/co