Spark1.2.0伪分布式安装
- JDK1.7.0_67
- Haddoop2.5.2(伪分布式安装)
- Scala2.11.4
- Spark1.2.0(伪分布式安装)
下载并配置Scala
1. 下载Scala2.11.4
wget http://downloads.typesafe.com/scala/2.11.4/scala-2.11.4.tgz?_ga=1.10268349.906591.1419820693
2. 改名
mv scala-2.11.4.tgz?_ga=1.10268349.906591.1419820693 scala-2.11.4.tgz
3. 配置Scala的环境变量
vim /etc/profile
export SCALA_HOME=/home/hadoop/software/scala-2.11.4
export PATH=$SCALA_HOME/bin:$PATH
下载Spark1.2.0(与Hadoop2.4兼容版本)
1.下载Spark1.2.0与Hadoop2.4兼容版本
http://d3kbcqa49mib13.cloudfront.net/spark-1.2.0-bin-hadoop2.4.tgz
在本测试环境中,使用的是Hadoop2.5.2版本,测试发现,这个版本的Spark(2.4兼容版本)可以与Hadoop2.5.2兼容
2. 解压Spark安装包到如下目录
tar xzvf spark-1.2.0-bin-hadoop2.4.tgz
/home/hadoop/software/spark-1.2.0-bin-hadoop2.4
配置Spark相关的环境变量
1. vim /