spark java pom.xml_对于maven创建spark项目的pom.xml配置文件（图文详解）

不多说，直接上干货！

http://mvnrepository.com/

这里，怎么创建，见

这里， 我重点说下spark项目，因为，对于hadoop这样的，我已经写了大量博客了。

比如，我目前用得较多的spark-mllib。

这里spark-mllib_2.10 就是你的scala版本是2.10.X系列。比如我一般是使用scala-2.10.4。

这里spark-mllib_2.11 就是你的scala版本是2.11.X系列。

同时，大家要养成规范，http://mvnrepository.com里是示例如下

org.apache.spark

spark-mllib_2.10

2.2.0

provided

但是呢，我不建议这样。反而是把版本抽取出来，

以下是我的maven构建出来的spark项目的pom.xml，大家可以作为参考下。当然这不是最规范的。

4.0.0

zhouls.bigdata

SparkMllibBook

1.0-SNAPSHOT

2008

2.10.4

UTF-8

2.6.0

2.2.0

scala-tools.org

Scala-Tools Maven2 Repository

http://scala-tools.org/repo-releases

scala-tools.org

Scala-Tools Maven2 Repository

http://scala-tools.org/repo-releases

org.scala-lang

scala-library

${scala.version}

junit

junit

4.4

test

org.specs

specs

1.2.5

test

org.apache.hadoop

hadoop-common

${hadoop.version}

provided

org.apache.hadoop

hadoop-hdfs

${hadoop.version}

provided

org.apache.hadoop

hadoop-mapreduce-client-common

${hadoop.version}

provided

org.apache.hadoop

hadoop-mapreduce-client-core

${hadoop.version}

provided

org.apache.spark

spark-core_2.10

${spark.version}

provided

org.apache.spark

spark-streaming_2.10

${spark.version}

provided

org.apache.spark

spark-sql_2.10

${spark.version}

provided

org.apache.spark

spark-mllib_2.10

${spark.version}

provided

src/main/scala

src/test/scala

org.scala-tools

maven-scala-plugin

compile

testCompile

${scala.version}

-target:jvm-1.5

org.apache.maven.plugins

maven-eclipse-plugin

true

ch.epfl.lamp.sdt.core.scalabuilder

ch.epfl.lamp.sdt.core.scalanature

org.eclipse.jdt.launching.JRE_CONTAINER

ch.epfl.lamp.sdt.launching.SCALA_CONTAINER

org.scala-tools

maven-scala-plugin

${scala.version}

也许，大家在具体执行代码时，出现如下问题