加速Spark编译

文章目录


今天看到 Spark 有一个挺好玩的 PR,打算本地合进来测试一下,那么这样就涉及到重新编译 Spark 的操作了。
看着本子已经挂着 Docker For Mac,打开 Kubernetes 已经吃掉了 8G 内存,还有若干 IDEA 打开着,我的本子一直呼呼在叫。
想起来以前在公司都是拿着测试服务器来做打包编译这些杂事的,所以到服务器上配置一下就好。
当然很多公司的服务器都是跟外网隔离的,但是幸运的是这些公司都会部署一个内网的 Maven 私有仓库,虽然有些公司自行开发内核,很多环境连 JDK 都没有,所以如果你需要跑 Spark 程序,你只需要 JRE 就够了,但是如果你需要在服务器上编译 Spark,那么你是需要 JDK 的。
不管怎么样,只要不限制上传文件,就可以把官网的 JDK 上传,安装好 Java 和 Maven,然后就可以搞起了。
最好的加速方法就是,有个专门的打包服务器,毕竟 Maven 是支持多线程构建的,而且测试服务器的资源,一般来说,都会比你本子多得多,如果有专用的拿来玩的服务器,那就更爽啦。

> mvn -T 8 -Pkubernetes -DskipTests clean package

-T 啥意思呢,看下面?

> mvn -h
...
 -T,--threads <arg>                     Thread count, for instance 2. where C is core multiplied
....

当然了,Spark 官方也有提供一些 Maven 配置的 Tips,可以参考下。

SBT 的动态编译一直都很骚,有空再说说。

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值