大数据技术--实验06-Spark的安装与使用【实测可行】

下面详细讲解有关Hadoop2.6.0上的spark1.5.2集群如何搭建。

一、Spark安装前提

安装Spark之前需要先安装Hadoop集群，因为之前已经安装了hadoop，所以我直接在之前的hadoop集群上安装spark，选择master以及slave安装spark集群。

二、Spark安装步骤：

1.下载scala-2.11.7.tgz

http://www.scala-lang.org/download/2.11.7.html

2.下载spark-1.5.2-bin-hadoop2.6.tgz(之前安装的hadoop是2.6.0的)

    http://www.apache.org/dyn/closer.lua/spark/spark-1.5.2/spark-1.5.2-bin-hadoop2.6.tgz

3.安装Scala（在master上）：

    cd /home/hadoop

    tar -zxvf scala-2.11.7.tgz -C ~/local/opt

    修改环境变量，添加SCALA_HOME，并修改PATH即可：

[hadoop@master ~]$ vim ~/.bashrc

将scala添加到环境变量中

export SCALA_HOME=/home/hadoop/local/opt/scala-2.11.7

并修改环境变量：

export PATH=$PATH:$HADOOP_PREFIX/bin:$HADOOP_PREFIX/sbin:$HBASE_HOME/bin:$SCALA_HOME/bin

    使配置立即生效：

source ~/.bashrc

    验证是否安装成功

scala –version

    显示如下：

Scala code runner version 2.11.7 -- Copyright 2002-2013, LAMP/EPFL

4.将/home/hadoop/local/opt/scala-2.11.7从master复制到另外一台机器slave上。

      cd local/opt

      scp -r scala-2.11.7 hadoop@slave:local/opt

5.安装Spark（在master上）：

    cd /home/hadoop

    tar -zxvf spark-1.5.2-bin-hadoop2.6.tgz -C ~/local/opt

    修改环境变量：将SPARK_HOME添加进去，并修改PATH即可。

[hadoop@master ~]$ vim ~/.bashrc

将spark添加到环境变量中

export SPARK_HOME=/home/hadoop/local/opt/spark-1.5.2-bin-hadoop2.6

并修改环境变量：

export PATH=$PATH:$HADOOP_PREFIX/bin:$HADOOP_PREFIX/sbin:$HBASE_HOME/bin:$SCALA_HOME/bin:$SPARK_HOME/bin

    是配置立即生效：

source ~/.bashrc

6. 修改配置文件

6.1 修改spark-env.sh配置文件：

cd /home/hadoop/local/opt/spark-1.5.2-bin-hadoop2.6/conf

cp spark-env.sh.template spark-env.sh

vim spark-env.sh

在后面追加

###jdk dir

export JAVA_HOME=/usr/lib/jvm/java

###scala dir

export SCALA_HOME=/home/hadoop/local/opt/scala-2.11.7

###the ip of master node of spark

export SPARK_MASTER_IP=192.168.42.128

###the max memory size of worker

export SPARK_WORKER_MEMORY=512m

###hadoop configuration file dir

export HADOOP_PREFIX=/home/hadoop/local/opt/hadoop-2.6.0

export HADOOP_CONF_DIR=$HADOOP_PREFIX/etc/hadoop

6.2 修改slaves文件

cd /home/hadoop/local/opt/spark-1.5.2-bin-hadoop2.6/conf

cp slaves.template slaves

vim slaves

添加如下（可能有默认localhost，将其改成master）：

master

slave

7.将/home/hadoop/local/opt/spark-1.5.2-bin-hadoop2.6复制到slave

   cd local/opt

   scp -r spark-1.5.2-bin-hadoop2.6 hadoop@slave:local/opt

    

8.到此Spark集群搭建完毕。

9.启动Spark集群：

    启动Spark之前需要先将hadoop的dfs以及yarn启动。

[hadoop@master ~]$ start-all.sh

[hadoop@master ~]$ local/opt/spark-1.5.2-bin-hadoop2.6/sbin/start-all.sh

    启动所有服务之后，在命令行输入jps，显示如下：

        

    比hadoop集群启动时多了Master和worker

    输入如下命令

cd /home/hadoop/local/opt/spark-1.5.2-bin-hadoop2.6/bin

spark-shell

    出现scala>时说明成功。

    在浏览器中输入192.168.42.128:8080时，会看到如下图，有两个Worker

在浏览器中输入192.168.42.128:4040

出现如图：

三、运行实例wordcount实例：

hadoop fs -mkdir /user/spark

vim word.txt  #输入一段英文

hadoop fs -put word.txt /user/spark/word.txt

hadoop fs -cat /user/spark/word.txt

scala>var textcount=sc.textFile("hdfs://master:8020/user/spark/word.txt").filter(line=>line.contains("wh")).count()

显示结果如下：