Spark——实验三：搭建基于eclipse的Spark开发环境

一. 实验目的

  学习基于eclipse软件的spark开发环境搭建技术和开发技术。

二. 实验内容

  1) 参考http://dblab.xmu.edu.cn/blog/1490/，基于ubuntukylin14.04(14)完成eclipse的安装。
  2) 参考http://dblab.xmu.edu.cn/blog/1632-2/，基于ubuntukylin14.04(16)完成求top值，文件排序和二次排序等三个实例练习。

三. 实验步骤及结果分析

 1. 基于ubuntukylin14.04(14)完成eclipse的安装

  版本说明：ubuntukylin14.04(14)=hadoop集群（hadoop2.6.0版本）+hbase伪分布式（hbase1.1.2版本）+Scala2.11.8+Spark2.1.0+sbt0.13.15

  注：Scala IDE for eclipse4.7.0官方下载地址为http://downloads.typesafe.com/scalaide-pack/4.7.0-vfinal-oxygen-212-20170929/scala-SDK-4.7.0-vfinal-2.12-linux.gtk.x86_64.tar.gz （建议迅雷下载）

 1.1 下载Scala IDE for eclipse4.7.0

 1.2 安装Scala IDE for eclipse4.7.0

  打开终端，输入sudo tar -zxvf ~/下载/scala-SDK-4.7.0-vfinal-2.12-linux.gtk.x86_64.tar.gz -C /usr/local命令将其解压安装到/usr/local目录中，然后输入cd /usr/local命令进入到安装目录，输入./eclipse/eclipse命令测试启动eclipse是否安装成功，如下图所示即为成功。

 1.3 配置eclipse环境变量

  在终端输入vim ~/.bashrc命令，开头添加下边一行路径变量：

export PATH=$PATH:/usr/local/eclipse

  保存关闭后，在终端输入source ~/.bashrc命令使其生效，然后在终端直接输入eclipse命令就能打开eclipse了。

 1.4 sbt eclipse插件全局安装

  sbt eclipse插件用于创建eclipse应用程序，并让eclipse能够使用sbt打包编译spark程序。其安装分为局部和全局安装，局部安装应用于具体应用程序，全局安装能够应用于所有应用程序，在此选择全局。
  在终端输入mkdir -p ~/.sbt/0.13/plugins命令创建多级目录，输入vim ~/.sbt/0.13/plugins/build.sbt命令创建build.sbt文件并打开，在其中输入以下内容：

addSbtPlugin("com.typesafe.sbteclipse" % "sbteclipse-plugin" % "4.0.0")

  然后保存退出，在终端输入sbt命令运行程序后输出以下内容即为成功，然后输入exit命令退出sbt客户端即可。

 2. 基于ubuntukylin14.04(16)完成求top值，文件排序和二次排序等三个实例练习

  版本说明：ubuntukylin14.04(16)=hadoop集群（hadoop2.6.0版本）+hbase伪分布式（hbase1.1.2版本）+Scala2.11.8+Spark2.1.0+sbt0.13.15+Scala IDE for eclipse4.7.0+sbt eclipse插件（全局安装）

 2.1 创建eclipse应用程序

  ①在Scala IDE for eclipse工作目录（本人/home/mcf14/gongzuomulu）中创建工作项目wordcount。

  ②在gongzuomulu目录中输入mkdir -p wordcount/src/main/scala命令创建scala目录存放spark应用程序。

   ③在gongzuomulu目录中输入vim wordcount/build.sbt命令创建包含sbt打包配置信息的build.sbt文件，并在其中添加以下信息后保存退出。

name := "Simple Project"
version := "1.0"
scalaVersion := "2.11.8"
libraryDependencies += "org.apache.spark" %% "spark-core" % "2.1.0"