java 开发spark程序_第10课：实战java开发spark程序

使用

java

开发

spark

实战

一：环境搭建

安装

jdk

和

maven

。

1.

安装

jdk

并配置环境变量

系统变量→新建

JAVA_HOME

变量

。

变量值填写

jdk

的安装目录(本人是

E:\Java\jdk1.7.0)

系统变量→寻找

Path

变量→编辑

在变量值最后输入

%JAVA_HOME%\bin;%JAVA_HOME%\jre\bin;

(注意原来

Path

的变

量值末尾有没有

;

号，如果没有，先输入；号再输入上面的代码)

系

统

变

量

→

新

建

CLASSPATH

变

量

值

填

写

.;%JAVA_HOME%\lib;%JAVA_HOME%\lib\tools.jar

(注意最前面有一点)

2.

Maven

的安装和配置

解压

apache-maven-3.1.1-bin.zip

，并把解压后的文件夹下的

apache-maven-3.1.1

文件

夹移动到

D:\Java

下，如果没有

Java

这个文件夹的话，请自行创建

新建系统变量

MAVEN_HOME

变量值：

D:\Java\apache-maven-3.1.1

。编辑系统变

量

Path

添加变量值：

;%MAVEN_HOME%\bin

。

在

mave

的

目

录

中

修

改

conf/settings.xml

，

在

localRepository

属

性

后

添

加

D:/repository

修改

maven

下载

jar

的位置。

3.

eclipse

中

java

和

maven

的配置

点击

window

->java

->Installed

JREs

->add

->standard

vm

,

点击

next

，然后选择

jdk

的安装路径点击

finish

即可。

点击

window

->Maven

->Installations

->add

在弹出页面选择

mave

的安装路径，然后

点击

finish

。然后在列表中选择我们自己刚添加的那个

maven

信息。

然后点击

window

->Maven

->User

Setings

在

右侧的

User

Settings

点击

browse

现

在

maven

conf

目录下的

setttings.xml.

(

主要是修改

maven

下载依赖包存放的位置)

二：创建

maven

项目

1.

创建

maven

项目

点

击

file

->new

->others

->maven

project

点

击

next

，

选

择

maven-archetype-quickstart

，点击

next

，

group

id

为

com.dt.spark

，

artifact

id

为

sparkApps

，然后点击

finish

。

2.

修改

jdk

和

pom

文件

创建

maven

项目后，默认的

jdk

是

1.5

要改成我们前面安装好的

jdk1.8

。在项目

上右击

build

path

->configure

build

path

。

在弹出页面点击

Libraries

，

选中

jre

system

library

。点击

edit

，在弹出框选择

workspace

default

jre

，然后点击

finish

。

然

后在点击

ok

。将

pom

文件修改为如下内容，然后等待

eclipse

下载好

maven

依赖

的

jar

包，

并编译工程。

编译好工程后有个错误提示，

在此错误列上，

右击选择

quick

fix

，在弹出页面点击

finish

即可。

xmlns="http://maven.apache.org/POM/4.0.0"

xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"

xsi:schemaLocation="http://maven.apache.org/POM/4.0.0

http://maven.apache.org/xsd/maven-4.0.0.xsd">

4.0.0