Scala && Spark 安装

Spark On Yarn
========================================================================================
1、Scala 安装
http://www.scala-lang.org/files/archive/scala-2.9.3.tgz

# tar xvzf scala-2.9.3.tgz -C /usr/local
# cd /usr/local
# ln -s scala-2.9.3 scala

# vim ` ~/.bash_profile
export SCALA_HOME=/usr/local/scala
export PATH=$PATH:$SCALA_HOME/bin

 

# source /etc/profile

------------------------------------------------------------------------------------------------------------------------------------------

2、Spark 安装
http://d3kbcqa49mib13.cloudfront.net/spark-0.8.1-incubating-bin-hadoop2.tgz

# tar xvzf spark-0.8.1-incubating-bin-hadoop2.tgz -C /usr/local
# cd /usr/local
# ln -s spark-0.8.1-incubating-bin-hadoop2 spark

 

# vim ~/.bash_profile
export SPARK_HOME=/usr/local/spark
export PATH=$PATH:$SPARK_HOME/bin

 

# source ~/.bash_profile

 

# cd /usr/local/spark/conf
# mv spark-env.sh.template spark-env.sh

# vim spark-env.sh
export JAVA_HOME=/usr/local/jdk
export SCALA_HOME=/usr/local/scala
export HADOOP_HOME=/usr/local/hadoop

 

## worker节点的主机名列表
# vim slaves
datanode1
datanode2
datanode3

然后将Spark安装文件复制到Work从机中

# mv log4j.properties.template log4j.properties

## 在Master节点上执行
# cd /usr/local/spark && .bin/start-all.sh

 

## 检查进程是否启动【在master节点上出现“Master”，在slave节点上出现“Worker”】
# jps

Master节点：

 

Slave节点：

------------------------------------------------------------------------------------------------------------------------------------------

3、相关测试
## 监控页面URL
http://10.217.145.244:8080/