用maven自定义spark任务的archetype

本来spark工程是推荐用sbt的,但是sbt因为某些原因在国内实在是太慢了,所以尝试用eclipse+maven+scala插件,
然而scala-tools提供的archetype默认使用scala2.7.0,让人每次都去修改,然后又要去添加Hadoop、spark之类的依赖,有时候还出现包冲突
,有时候一不小心忘了, 编译的时候还会出错。   于是我决定生成一个自己用的archetype,以图省事。


以下流程需要使用自己安装的maven,使用eclipse自带的maven会报错。
可以从Window->Preferences->Maven->Installations里面add自己maven的安装目录。

1、创建一个maven工程,最好用scala的archetype,因为在上面修改起来方便,随便取个名字,比如spark-archetype
2、把自己想要的目录下面随便建个文件,这一点是为了让得到的archetype会自动生成文件夹,如果有不用建个文件就保留文件夹的
方法,请务必联系我


3、编辑pom.xml,添加常用的依赖,比如spark、Hadoop、hbase,等等。  可以把version用变量的方式提到前面,方便修改。像这样:

</pre><pre name="code" class="html"> <properties>
    <scala.version>2.10.4</scala.version>
    <spark.version>1.4.1</spark.version>
    <hadoop.version>2.2.0</hadoop.version>
  </properties>
然后在build里面添加archetype插件:
<plugin>
    &
  • 1
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值