scala 和 spark的安装与使用

一、安装JDK（建议JDK7以上）

略

二、安装Hadoop 2.x

略

三、安装Scala（2.10.4）

在root用户下分别执行下列操作

1.获取并解压安装包

tar –zvxf scala-2.10-2.10.4.tgz
mv scala-2.10.4 scala

2.配置环境变量

gedit sudo /etc/profile

加入如下代码

export SCALA_HOME=/home/cloud01/scala
export PATH=$PATH:$SCALA_HOME/bin

使文件生效：

source /etc/profile

3.发送至slave1, slave2

scp -r scala gao@cloud02:/home/gao
scp -r scala gao@cloud03:/home/gao

分别在cloud02,cloud03上重复步骤2
4.验证

scala –version

四、安装Spark Standalone

1.获取并解压安装包

cd /home/dong/resources/software/hadoop/apache
cp spark.-1.4.0-bin-hadoop2.4.tgz /home/dong
cd
tar –zvxf spark.-1.4.0-bin-hadoop2.4.tgz

2.配置环境变量

sudo vi /etc/profile

加入如下代码

export SPARK_HOME=/home/gao/spark/
export PATH=$PATH:$SPARK_HOME/bin

使文件生效：

source /etc/profile

3.配置文件

cd spark-1.4.0-bin-hadoop2.4/conf

(1) 配置spark-env.sh

cp spark-env.sh.template spark-env.sh

在spark-env.sh中追加如下代码：

export HADOOP_CONF_DIR=/home/gao/hadoop
export JAVA_HOME=/usr/lib/jvm/jre-1.8.0-openjdk
export SCALA_HOME=/home/gao/scala
export SPARK_MASTER_IP=192.168.141.136
export SPARK_MASTER_PORT=7077
export SPARK_MASTER_WEBUI_PORT=8080
export SPARK_WORKER_PORT=7078
export SPARK_WORKER_WEBUI_PORT=8081
export SPARK_WORKER_CORES=1
export SPARK_WORKER_INSTANCES=1
export SPARK_WORKER_MEMORY=4g
export SPARK_JAR=/home/gao/spark/jars

(2) 配置spark-defaults.conf

cp spark-defaults.conf.template spark-defaults.conf

在spark-defaults.conf中追加下面代码

spark.master=spark://192.168.31.142:7077

(3) 配置spark-slaves

cp slaves.template slaves

在slaves中追加下面代码

192.168.141.136
192.168.141.137

4.发送至slave1, slave2

scp -r ~/spark cloud02:~/
scp -r ~/spark-1.4.0-bin-hadoop2.4 cloud03:~/

分别在每个节点上重复步骤2

5.启动spark

• 启动Hadoop

cd spark-1.4.0-bin-hadoop2.4
sbin/start-master.sh
sbin/start-cloud02.sh
sbin/start-cloud03.sh
sbin/start-all.sh

• jps验证(3台都验证)

• 端口验证

IP/cloud01：8080

• shell验证

cd spark（文件）/bin
spark-shell(小测试，简单基本的操作)

出现scala>  (成功)

val aa=sc.makeRDD(1 to 10)

6.关闭

6.1退出spark

exit

6.2关闭spark

stop-all.sh

6.3关闭集群

stop-all.sh

6.4检验

jps