Spark是一个快速、通用的计算集群框架,它的内核使用Scala语言编写,它提供了Scala、Java和Python编程语言high-level API,使用这些API能够容易地开发并行处理的应用程序。
在已经搭建完成Hadoop集群(http://dblab.xmu.edu.cn/blog/install-hadoop-cluster/ )和在Master节点安装了Spark(http://dblab.xmu.edu.cn/blog/spark-quick-start-guide/ )基础上我们进行下述安装步骤:
Master:192.168.235.133 用户名为hadoop
Slave:192.168.235.134 用户名为hadoop
Spark Hadoop Scala 均安装在/usr/local 路径下
1. 在Master节点下载安装配置Scala:
sudo tar -zxf ~/Downloads/scala-2.10.3.tgz -C /usr/local/
cd/usr/local
sudo mv./ scala-2.10.3/ ./scala
sudo chown -R hadoop:hadoop ./scala
在~/.bashrc中增加环境变量SCALA