Spark的伪分布安装和wordcount测试

基于hadoop2.6伪分布的Spark安装和wordcount测试

一：环境说明

             Ubuntu：15.10（不稳定版，建议安装在稳定版，Ubuntu下XX..4是稳定的）

             Hadoop：2.6

             Scala：2.11.8

             Java：1.7.0

             Spark：1.6.1

二：hadoop伪分布安装

         参考之前我写的一篇博客：http://blog.csdn.net/gamer_gyt/article/details/46793731

三：Scala安装

          scala下载地址：http://www.scala-lang.org/download/

          解压到指定目录：tar zxvf scala-2.11.8.tgz -C /usr/local/

          进入/usr/local/：cd /usr/local

          重命名为scala：mv scala-2.11.8 scala

          配置环境变量：sudo vim /etc/profile

          加入如下信息：

<span style="font-size:14px;">          #scala home
          export SCALA_HOME=/usr/local/scala
          export Path=$SCALA_HOME/bin:$PATH
</span>

          退出保存：source /etc/profile

          命令行输入scala -versiom，显示如下

          

          使用时只需要输入scala即可，退出时输入     :quit

四：Spark安装

          1：官网下载最新版本1.6.1

                  下载链接：http://archive.apache.org/dist/spark/

          2：解压到指定目录，我这里是/usr/local/hadoop

                 tar zxvf spark-1.6.1-bin-hadoop2.6.tgz -C /usr/local/hadoop

                 重命名为spark(个人习惯):sudo mv spark-1.6.1-bin-hadoop2.6 spark

         3：配置环境变量

               sudo vim /etc/profile

              输入以下：

               #spark home
               export SPARK_HOME=/usr/local/hadoop/spark
               export PATH=$SPARK_HOME/bin:$PATH

         4：配置spark-env.sh

               cd $SPARK_HOME/conf
               cp spark-env.sh.template spark-env.sh
               vim spark-env.sh

               加入以下代码(注意 java，hadoop，scala，spark要根据自己的目录来)：

               export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64
               export HADOOP_HOME=/usr/local/hadoop
               export HADOOP_CONF_DIR=/usr/local/hadoop/etc/hadoop
               export SCALA_HOME=/usr/share/scala
               export SPARK_HOME=/usr/local/hadoop/spark
               export SPARK_MASTER_IP=127.0.0.1
               export SPARK_MASTER_PORT=7077
               export SPARK_MASTER_WEBUI_PORT=8099
               export SPARK_WORKER_CORES=3
               export SPARK_WORKER_INSTANCES=1
               export SPARK_WORKER_MEMORY=10G
               export SPARK_WORKER_WEBUI_PORT=8081
               export SPARK_EXECUTOR_CORES=1
               export SPARK_EXECUTOR_MEMORY=1G
               export LD_LIBRARY_PATH=${LD_LIBRARY_PATH}:$HADOOP_HOME/lib/native

         5：配置Slave

              cp slaves.template slaves
              vim slaves
              添加以下代码（默认就是localhost）：

              localhost

         6：启动（前提是hadoop伪分布已经启动）

         启动spark-master.sh

         cd $SPARK_HOME/sbin

         ./start-master.sh

         启动Spark Slave

         ./start-slaves.sh(注意是slaves)

         此时便可以访问Spark的web界面了：输入http://127.0.0.1:8099/

      

           进入spark-shell界面

           进入spark目录下的bin目录，执行：./spark-shell

          

           ......

          

          (是不是和scala的shell一样呀)

          Spark-shell的web界面访问地址：http://127.0.0.1:4040

          

六：Spark的WordCount实例

1：上传Spark目录下的README.txt到hdfs上，例如我这里的存放为 /mr/spark/test （test是个文件，内容同README.txt一致）

2：用第五步的命令进入spark-shell

       执行：val file=sc.textFile("hdfs://172.16.48.202:9000/mr/spark/README.txt")

                   val count=file.flatMap(line => line.split(" ")).map(word => (word,1)).reduceByKey(_+_)

                   count.collect()
      每一步的执行结果为：

       

        
      

       最终的运行结果为：

      

 至此，我们已经了解了Spark的安装过程和在spark shell 中用scala运行wordcount，更多精彩请关注gamer_gyt