Ubuntu 14.10 下安装Spark

Spark 是一种与 Hadoop 相似的开源集群计算环境,不过最近非常火.下面介绍安装步骤.

1 安装scala

　　1.1 我选用的是2.11.4,下载地址http://www.scala-lang.org/download/

　　1.2 解压到文件夹

tar -xzvf scala-2.11.4.tgz 

　　1.3 设置环境变量

sudo nano /etc/profile

export SCALA_HOME=/home/liucc/software/spark/scala-2.11.4
export PATH=$PATH:$SCALA_HOME/bin

　　1.4 检查是否安装成功

scala -version

2 安装Spark 

　　2.0  Spark编译的话，可以用MVN，SBT，和他自带的make-distribution.sh文件

sbt/sbt assembly -Phadoop-2.6 -Dhadoop.version=2.6.0 -Pyarn -Dyarn.version=2.6.0 -Pspark-ganglia-lgpl -Pkinesis-asl -Phive

mvn -Phadoop-2.6 -Dhadoop.version=2.6.0 -Pyarn -Dyarn.version=2.6.0 -Pspark-ganglia-lgpl -Pkinesis-asl -Phive -DskipTests clean package  

./make-distribution.sh --tgz --name 2.6.0 -Pyarn -Phadoop-2.6 -Pspark-ganglia-lgpl -Phive -DskipTests

　　2.1 下载编译好的spark,我是看了这个博主写的http://www.aboutyun.com/thread-8160-1-1.html,我选的是hadoop2.2.0

下载预编译好的Spark, （32位、64都可以）

hadoop1安装包

链接： http://pan.baidu.com/s/1c0kZMLE

密码：d4om

hadoop2安装包

链接： http://pan.baidu.com/s/1kT3czFD

密码：elpg

2.2 解压到相应目录

tar -xzvf spark-1.0.0-bin-hadoop2.tgz

　　2.3 设置SPARK_HOME

export SPARK_EXAMPLES_JAR=/home/liucc/software/spark/spark-1.0.0/examples/target/scala-2.11.4/spar$
export SPARK_HOME=/home/liucc/software/spark/spark-1.0.0

　　备注:SPARK_EXAMPLES_JAR的设置是摘抄自pig2:这一步其实最关键，很不幸的是，官方文档和网上的博客，都没有提及这一点。我是偶然看到了这两篇帖子，Running SparkPi, Null pointer exception when running ./run spark.examples.SparkPi local，才补上了这一步，之前死活都无法运行SparkPi。

　　2.4 配置Spark,进入到conf目录下面,配置spark-env.sh文件

cp spark-env.sh.template spark-env.sh
nano spark-env.sh

export JAVA_HOME=/usr/dev/jdk1.7.0_51
export SCALA_HOME=/home/liucc/software/spark/scala-2.11.4

　　2.5 至此配置完毕,可以启动试试,进入sprk目录,可以通过 http://localhost:8080/ 看到对应界面

sbin/start-master.sh

3 测试,下面在spark上运行第一个例子：与Hadoop交互的WordCount

　　3.1 将文件上传到hadoop中

　　3.2 进入spark-shell,进入spark根目录

bin/spark-shell

　　3.3 输入scala语句,不熟悉的话,可以去学习一下,有个公开课https://class.coursera.org/progfun-005,很不错

val file=sc.textFile("要统计的文件")

val count=file.flatMap(line=>line.split(" ")).map(word=>(word,1)).reduceByKey(_+_)

count.collect()

　　如果没错的话会看到结果

　　3.4 可以将结果上传到hadoop

count.saveAsTextFile("要保存的目录")

---------------------------------------------------------------------------------------

　　完毕,当然,也可以在Eclipse   中用java测试,网上很多了

 

 

 

转载于:https://www.cnblogs.com/liuchangchun/p/4220699.html