linux spark单节点环境搭建,Linux下基于Hadoop的Spark1.2单机安装

一，安装环境

硬件：虚拟机

操作系统：Centos 6.4 64位

IP：10.51.121.10

主机名：datanode-4

安装用户：root

Hadoop：Hadoop2.6，Hadoop2.6的单机安装请见：http://www.cnblogs.com/zouzhongfan/p/4309405.html

Hive：Hive0.13，Hive0.13的安装请见：http://www.cnblogs.com/zouzhongfan/p/4309432.html

二，安装Scala

1，到http://www.scala-lang.org/download/ 下载与Spark版本对应的Scala。Spark1.2对应于Scala2.10的版本。这里下载scala-2.10.4.tgz。

2，解压安装Scala

1)， 执行#tar -axvf scala-2.10.4.tgz，解压到/root/spark/scala-2.10.4。

2)，在~/.bash_profile中添加如下配置：

exportSCALA_HOME=/root/spark/scala-2.10.4

exportPATH=$JAVA_HOME/bin$HADOOP_HOME/bin:$HIVE_HOME/bin:$SCALA_HOME/bin:$PATH

3)，使环境变量生效，#source ~/.bash_profile

3，验证安装，在命令行中输入scala命令，可以进入scala命令控制台。

# scala

Welcome toScalaversion2.10.4 (Java HotSpot(TM) 64-Bit ServerVM, Java 1.6.0_45).

Type inexpressionsto have them evaluated.

Type :helpformore information.scala>

三，安装Spark

1，到http://spark.apache.org/downloads.html下载spark-1.2.0-bin-hadoop2.4.tgz，解压到/root/spark/spark-1.2.0-bin-hadoop2.4。

2，在.bash_profile中添加如下配置：

exportSPARK_HOME=/root/spark/spark-1.2.0-bin-hadoop2.4

exportPATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$SCALA_HOME/bin:$SPARK_HOME/bin:$HIVE_HOME/bin:$PATH

3，使#source ~/.bash_profile

四，配置Spark

1，进入Spark的配置文件路径，#cd $SPARK_HOME/conf

2，执行，#cp spark-env.sh.template spark-env.sh

3，在spark-env.sh文件中添加如下配置：

exportJAVA_HOME=/usr/lib/jdk1.6.0_45exportSCALA_HOME=/root/spark/scala-2.10.4

exportHADOOP_CONF_DIR=/root/hadoop/hadoop-2.6.0/etc/hadoop

五，启动Spark

1，进入spark的#cd /root/spark/spark-1.2.0-bin-hadoop2.4

2，执行#./sbin/start-all.sh命令

3，执行 #jps命令，会有Master和Worker进程

# jps

38907 RunJar

39030 RunJar

54679 NameNode

26587 Jps

54774 DataNode

9850 Worker

9664 Master

55214 NodeManager

55118 ResourceManager

54965 SecondaryNameNode

4，进入Spark的Web界面：http://datanode-4:8080/

5，执行，#./bin/spark-shell命令，可以进入Spark的shell环境，可以通过http://datanode-4:4040，看到SparkUI的情况。