该文章是在hadoop环境搭建好的基础上进行的,主要是针对搭建过程中自己遇到的一些小问题。关于hadoop的搭建详见:http://blog.csdn.net/svmachine/article/details/51334188
一 环境
hadoop:hadoop2.6.0
spark:spark1.6.1
scala:scala2.11.8
jar:spark-assembly-1.6.1-hadoop2.6.0.jar
二 下载spark与scala并解压
tar -zxvf spark-1.6.1.zip -C /home/wh(spark的路径)
tar -zxvf scala-2.11.8.tgz -C /home/wh(scala的路径)
- 重命名
mv spak-1.6.1 spark
mv scala-2.11.8 scala
三 配置环境变量
- scala环境
vim /etc/profile
export SCALA_HOME=/home/wh/scala
export PATH=$PATH: