高效的大数据开发环境搭建及实战

 

内容大纲：

 

一、开发环境准备

1. IDE开发工具选择及安装

2. Java SDK版本选择及安装

3. Spark开发语言 版本选择及安装

4. 下载Spark的安装程序

5. 安装Maven

6. 安装sbt

7. IDE的插件选择、安装及配置

 

二、从零开始创建第一个Spark程序 － HelloSpark

1. 创建Scala工程

2. 添加Spark依赖的jar包

3. 修改工程pom文件，并更新依赖包

4. 编写Spark程序代码

5. 在IDE中编译并本地测试HelloSpark程序

6. 编译jar包，并部署到Spark集群运行

 

三、从github获取工程，并快速搭建Spark开发环境

1. 从github中clone工程

2. 修改代码，编译测试及打包

3. 部署到Spark集群

 

四、使用IDE及Github实现版本控制

1. 建立github账号

2. 下载github并安装

3. intellij idea配置github

4. intellij idea检出github项目

5. 修改代码，编译及测试代码

6. 上传项目到GitHub

一、开发环境准备

IDE开发工具选择及安装

主流的IDE开发环境有Scala-IDE（Eclipse）及IntelliJ IDEA两种，开发者可以根据自己的喜好选择。本演示所有的实验是基于IntelliJ IDEA完成。

 

两种工具下载地址分别如下：

· Scala-IDE （目前最新版4.4.1，Eclipse Luna 4.4.2）

http://scala-ide.org/download/sdk.html 下载适合自己系统的版本

 

 

· IntelliJ IDE （目前最新版2016.1）

https://www.jetbrains.com/idea/download/ 有社区版和收费版两种。对于本演示来说，社区版足够

 

 

 

选择、下载并安装JDK

JDK可以选择1.7和1.8。由于Oracle官方已经停止了1.7版本的更新，建议使用JDK1.8版本。

JDK1.7 下载地址：

http://www.oracle.com/technetwork/java/javase/downloads/jdk7-downloads-1880260.html 

JDK1.8下载地址：

http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html 

 

下载适合开发环境系统的版本。如本例中使用的是Mac OS X系统，所以下载Mac OS版本。

 

 

接下来安装JDK

 

配置Java运行环境变量

 

 

验证jdk安装成功

 

 

Spark开发语言Scala 的选择及安装

下载地址 http://www.scala-lang.org/download/  （目前最新版本是2.11.8）

本演示中使用的是2.10.6版本 （原因是Spark1.6版本使用的是scala2.10版本进行编译的，如果使用scala2.11版本，开发者需要自己基于scala2.11版本编译spark1.6的版本）。

 

 

验证scala-2.10.6安装包下载成功

 

拷