spark java 例子程序_java写的spark程序的本地运行和集群运行

用java写的一个简单的spark程序，通过本地运行和集群运行例子。

1    在eclipse下建一个maven工程

配置pom.xml

配置文件参考下面：

xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">

4.0.0

cn.spark

SparkTest

0.0.1-SNAPSHOT

jar

SparkTest

http://maven.apache.org

UTF-8

junit

junit

3.8.1

test

org.apache.spark

spark-core_2.10

1.3.0

org.apache.spark

spark-sql_2.10

1.3.0

org.apache.spark

spark-hive_2.10

1.3.0