Spark1.4.1单机版安装配置

版本信息

scala-2.11.7.tgz

jdk-8u65-linux-x64.gz

spark-1.4.1-bin-hadoop2.6.tgz

IP: 192.168.31.157

查看IP的语法为：[root@localhost java]# ifconfig -a

步骤0：创建目录

[root@localhost ~]# mkdir /usr/java

[root@localhost ~]# mkdir /usr/local/scala

[root@localhost ~]# mkdir /usr/local/spark

步骤一：jdk安装及环境变量配置

step1：jdk安装

（1）下载jdk-8u65-linux-x64.gz

（2）新建/usr/java文件夹，将jdk-8u65-linux-x64.gz放到该文件夹中，并将工作目录切换到/usr/java目录下

（3）执行命令tar -zxvf jdk-8u65-linux-x64.gz进行解压，解压后发现/usr/java多了一个jdk1.8.0_65文件夹。

（4）通过以上步骤，jdk就已经全部安装完成了。下面，就是环境变量的配置。

语法如下：

[root@localhost ~]# mkdir /usr/java

[root@localhost ~]# mv /home/yuanmin/Desktop/jdk-8u65-linux-x64.gz /usr/java/

[root@localhost java]# tar -zxvf jdk-8u65-linux-x64.gz

step2：配置环境变量

[root@localhost java]# vim /etc/profile

#JAVA VARIABLES START

JAVA_HOME=/usr/java/jdk1.8.0_65

PATH=$JAVA_HOME/bin:$PATH

CLASSPATH=$JAVA_HOME/jre/lib/ext:$JAVA_HOME/lib/tools.jar

export PATH JAVA_HOME CLASSPATH

#JAVA VARIABLES END

退出，再让其立即生效。

[root@localhost java]# source /etc/profile

step3：验证

1.使用javac命令，不会出现command not found错误

2.使用java -version，出现版本为java version "1.8.0_65"

3.echo $JAVA_HOME, echo $CLASSPATH, echo $PATH，看看自己的配置是否都正确。

语法如下：

[root@localhost java]# javac

[root@localhost java]# java –version

[root@localhost java]# echo $JAVA_HOME

[root@localhost java]# echo $CLASSPATH

[root@localhost java]# echo $PATH

注1：以上，环境变量配置完成。需要注意的是，PATH在配置的时候，一定要把$JAVA_HOME/bin放在前面，不然使用java命令时，系统会找到以前的java，再不往下找了。这样java这个可执行文件运行的目录其实不在$JAVA_HOME/bin下，而在其它目录下，会造成很大的问题。

注2：还要注意，以前其它教程写的CLASSPATH=$JAVA_HOME/lib.tools.jar，不知道以前的版本是怎么样的，现在的版本是没有这样的jar包的。

步骤二：scala安装及环境变量配置

step1：scala安装

（1）下载scala-2.11.7.tgz

（2）新建/usr/local/scala文件夹，将scala-2.11.7.tgz放到该文件夹中，并将工作目录切换到/usr/local/scala目录下

（3）执行命令tar -zxvf scala-2.11.7.tgz进行解压，解压后发现/usr/local/scala多了一个scala-2.11.7文件夹。

（4）通过以上步骤，scala就已经全部安装完成了。下面，就是环境变量的配置。

语法如下：

[root@localhost ~]# mkdir /usr/local/scala

[root@localhost ~]# mv /home/yuanmin/Desktop/scala-2.11.7.tgz /usr/local/scala/

[root@localhost scala]# tar -zxvf scala-2.11.7.tgz

step2：配置环境变量

[root@localhost scala]# vim /etc/profile

#SCALA VARIABLES START

export SCALA_HOME=/usr/local/scala/scala-2.11.7

export PATH=$PATH:$SCALA_HOME/bin

#SCALA VARIABLES END

退出，再让其立即生效。

$ source /etc/profile

step3：验证

[root@localhost java]# scala -version

Scala code runner version 2.11.7 -- Copyright 2002-2013, LAMP/EPFL

[root@localhost java]# scala -version

Scala code runner version 2.11.7 -- Copyright 2002-2013, LAMP/EPFL

[root@localhost java]# scala

Welcome to Scala version 2.11.7 (Java HotSpot(TM) 64-Bit Server VM, Java 1.8.0_65).

Type in expressions to have them evaluated.

Type :help for more information.

scala> 10*10

res0: Int = 100

注1：scala安装的前提是Java已安装

步骤三：spark安装及环境变量配置

step1：spark安装

（1）下载spark-1.4.1-bin-hadoop2.6.tgz

（2）新建/usr/local/spark文件夹，将spark-1.4.1-bin-hadoop2.6.tgz放到该文件夹中，并将工作目录切换到/usr/local/spark目录下

（3）执行命令tar -zxvf spark-1.4.1-bin-hadoop2.6.tgz进行解压，解压后发现/usr/local/scala多了一个spark-1.4.1-bin-hadoop2.6文件夹。

（4）通过以上步骤，spark就已经全部安装完成了。下面，就是环境变量的配置。

语法如下：

[root@localhost ~]# mkdir /usr/local/spark

[root@localhost ~]# mv /home/yuanmin/Desktop/ spark-1.4.1-bin-hadoop2.6.tgz /usr/local/spark/

[root@localhost spark]# tar -zxvf spark-1.4.1-bin-hadoop2.6.tgz

step2：配置环境变量

[root@localhost scala]# vim /etc/profile

#SPARK VARIABLES START

export SPARK_HOME=/usr/local/spark/spark-1.4.1-bin-hadoop2.6

export PATH=$PATH:$SPARK_HOME/bin

#SPARK VARIABLES END

退出，再让其立即生效。

$ source /etc/profile

step3:配置spark

[root@localhost conf]# pwd

/usr/local/spark/spark-1.4.1-bin-hadoop2.6/conf

[root@localhost conf]# mv spark-env.sh.template spark-env.sh

[root@localhost conf]# vim spark-env.sh

export SCALA_HOME=/usr/local/scala/scala-2.11.7

export JAVA_HOME=/usr/java/jdk1.8.0_65

export SPARK_MASTER_IP=192.168.31.157

export SPARK_WORKER_MEMORY=512m

export master=spark://192.168.31.157:7070

 

[root@localhost conf]# hostname

localhost.localdomain

[root@localhost conf]# vim slaves

localhost

step4：启动spark

[root@localhost sbin]# pwd

/usr/local/spark/spark-1.4.1-bin-hadoop2.6/sbin

[root@localhost sbin]# ./start-all.sh

starting org.apache.spark.deploy.master.Master, logging to /usr/local/spark/spark-1.4.1-bin-hadoop2.6/sbin/../logs/spark-root-org.apache.spark.deploy.master.Master-1-localhost.localdomain.out

localhost: Warning: Permanently added 'localhost' (RSA) to the list of known hosts.

root@localhost's password:

localhost: starting org.apache.spark.deploy.worker.Worker, logging to /usr/local/spark/spark-1.4.1-bin-hadoop2.6/sbin/../logs/spark-root-org.apache.spark.deploy.worker.Worker-1-localhost.localdomain.out

注1：hadoop也有start-all.sh脚本，因此必须进入具体目录执行脚本

[root@localhost sbin]# jps

32583 Worker

32397 Master

32671 Jps

步骤四：验证安装情况

（1）运行自带示例

[root@localhost spark-1.4.1-bin-hadoop2.6]# bin/run-example  org.apache.spark.examples.SparkPi

（2）查看集群环境

http://localhost:8080/

（3）进入spark-shell

[root@localhost bin]# ./spark-shell

注2：在bin目录下

（4）查看jobs等信息

http://localhost:4040/jobs

注3：在（3）执行中查看

 

步骤五：基于hadoop2.6的spark环境变量配置

[root@localhost hadoop]# pwd  #版本间较大的改动！，1.X版本不同

/usr/local/hadoop/hadoop-2.6.0/etc/hadoop   #hadoop位置

 

[root@localhost conf]# pwd

/usr/local/spark/spark-1.4.1-bin-hadoop2.6/conf 

[root@localhost conf]# vim spark-env.sh   #配置环境变量

export SCALA_HOME=/usr/local/scala/scala-2.11.7

export JAVA_HOME=/usr/java/jdk1.8.0_65

export SPARK_MASTER_IP=192.168.31.157

export SPARK_WORKER_MEMORY=512m

export master=spark://192.168.31.157:7070

export HADOOP_CONF_DIR=/usr/local/hadoop/hadoop-2.6.0/etc/hadoop  #新添加的部分

 

验证：启动spark与hadoop

 

[root@localhost sbin]# cd /usr/local/spark/spark-1.4.1-bin-hadoop2.6/sbin/
[root@localhost sbin]# pwd
/usr/local/spark/spark-1.4.1-bin-hadoop2.6/sbin
[root@localhost sbin]# ./start-all.sh

[root@localhost sbin]# cd /usr/local/hadoop/hadoop-2.6.0/sbin/
[root@localhost sbin]# pwd
/usr/local/hadoop/hadoop-2.6.0/sbin
[root@localhost sbin]# ./start-all.sh

[root@localhost sbin]# jps
5171 NameNode
6259 Worker
6071 Master
6328 Jps
5290 DataNode
5581 ResourceManager
5855 NodeManager
5439 SecondaryNameNode

spark，hadoop安装与配置完成！

hadoop安装见博文：hadoop2.6单机版安装与配置