Spark--Java独立应用

Spark–JAVA 独立应用编程

!这篇文章是转载的，原文链接是：http://dblab.xmu.edu.cn/blog/931-2/

1.安装maven
maven是用来编译打包Java应用程序的，省略步骤。
2.Java应用程序代码
在终端执行如下命令创建一个文件夹sparkapp2作为应用程序根目录

在 ./sparkapp2/src/main/java 下建立一个名为 SimpleApp.java 的文件（vim ./sparkapp2/src/main/java/SimpleApp.java），添加代码如下：

该程序依赖Spark Java API,因此我们需要通过Maven进行编译打包。在./sparkapp2中新建文件pom.xml(vim ./sparkapp2/pom.xml),添加内容如下，声明该独立应用程序的信息以及与Spark的依赖关系：

关于Spark dependency的依赖关系，可以访问The Central Repository。搜索spark-core可以找到相关依赖关系信息。
3.使用maven打包应用程序



4.通过spark-submit提交应用程序

注意：如果这里运行有错误，可以根据错误提示查看。有可能是没有运行Hadoop，Hadoop需要先运行，使用./sbin/start-dfs.sh来运行Hadoop，启动完成后，可以通过命令 jps 来判断是否成功启动，若成功启动则会列出如下进程: “NameNode”、”DataNode” 和 “SecondaryNameNode”，若要关闭Hadoop，运行./sbin/stop-dfs.sh。