spark环境搭建及简单程序使用

该文章是在hadoop环境搭建好的基础上进行的，主要是针对搭建过程中自己遇到的一些小问题。关于hadoop的搭建详见：http://blog.csdn.net/svmachine/article/details/51334188

一 环境
hadoop：hadoop2.6.0
spark：spark1.6.1
scala：scala2.11.8
jar：spark-assembly-1.6.1-hadoop2.6.0.jar

二 下载spark与scala并解压

• 直接到官网下载即可。
  spark下载       scala下载

• 解压

 tar -zxvf spark-1.6.1.zip -C /home/wh(spark的路径）
 tar -zxvf scala-2.11.8.tgz -C /home/wh(scala的路径)

• 重命名

mv spak-1.6.1 spark
mv scala-2.11.8 scala

三 配置环境变量

• scala环境

vim /etc/profile

export SCALA_HOME=/home/wh/scala
export PATH=$PATH: