Spark快速入门之单机模式Java应用程序开发

http://blog.sina.com.cn/s/blog_59c29ded0102v4i7.html

本文旨在记录初学Spark时，根据官网快速入门中的一段Java代码，在Maven上建立应用程序并实现执行。

1.开发软件
1) JDK 版本：1.7
2) Maven 版本：3.2.3 : http://maven.apache.org/
3) Spark 版本：spark-1.1.0 http://spark.apache.org/

2.前提工作：
1) 电脑上安装并配置好了JDK
2) 电脑上安装并配置好了Maven
3) 电脑上安装了Spark-1.1.0-bin-hadoop1

3.建立Maven应用程序
1) 打开cmd，进入要创建应用程序的根目录，输入： mvn archetype:generate
mvn会从远程”中央仓库”下载一些必需的文件到”本地仓库”，下载完成后，将进入交互模式，要求用户输 入项目信息。

Spark快速入门之单机模式Java应用程序开发

其中，groupId可理解为机构，artifactId将为创建的项目名，version采用默认，package为java运行代码所属的包。
输入确认后，将生成项目模板。
2)进入项目src->main文件夹下，找到创建的App.java文件，添加需要的代码：

3) 打开项目下的pom.xml，添加spark依赖

4.编译应用程序
进入项目，运行mvn compile，编译代码

5.打包程序
运行mvn package,系统将自动将应用程序代码打包成jar。运行成功后，在项目文件夹下的target文件夹下，将生成名为SimApp-1.0-SNAPSHOT.jar。

6.运行程序：使用spark-submit在本地运行应用
在cmd中输入 spark文件包bin下spark-submit文件所在的路径， 类名(加上包名)，jar包所在的路径
D:\Spark_Tools\apache-maven-3.2.3\Maven_Project\SimApp>d:\Spark_Tools\spark-1.1.
0-bin-hadoop1\bin\spark-submit –class “dms.SimApp” –master local[4] target\Sim
App-1.0-SNAPSHOT.jar
在输出信息的最后一行，将看到程序的运行结果：

该程序的主要功能是统计D:/Spark_Tools/spark-1.1.0/文件夹下README.md文件中出现a、b的行数。