本来spark工程是推荐用sbt的,但是sbt因为某些原因在国内实在是太慢了,所以尝试用eclipse+maven+scala插件,
然而scala-tools提供的archetype默认使用scala2.7.0,让人每次都去修改,然后又要去添加Hadoop、spark之类的依赖,有时候还出现包冲突
,有时候一不小心忘了,
编译的时候还会出错。 于是我决定生成一个自己用的archetype,以图省事。
以下流程需要使用自己安装的maven,使用eclipse自带的maven会报错。
可以从Window->Preferences->Maven->Installations里面add自己maven的安装目录。
1、创建一个maven工程,最好用scala的archetype,因为在上面修改起来方便,随便取个名字,比如spark-archetype
2、把自己想要的目录下面随便建个文件,这一点是为了让得到的archetype会自动生成文件夹,如果有不用建个文件就保留文件夹的
方法,请务必联系我
3、编辑pom.xml,添加常用的依赖,比如spark、Hadoop、hbase,等等。 可以把version用变量的方式提到前面,方便修改。像这样:
</pre><pre name="code" class="html"> <properties>
<scala.version>2.10.4</scala.version>
<spark.version>1.4.1</spark.version>
<hadoop.version>2.2.0</hadoop.version>
</properties>
然后在build里面添加archetype插件:
<plugin>
&