sbt/sbt assembly 编译spark源码出错问题解决方法

最新推荐文章于 2022-10-18 00:33:39 发布
最新推荐文章于 2022-10-18 00:33:39 发布
阅读量1k 收藏
点赞数
分类专栏： spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/jiushi848/article/details/40437991
版权
在使用sbt/sbt assembly命令编译Spark源码的过程中，可能会遇到JAVA_HOME设置问题导致的初始化VM错误，提示无法预留足够的对象堆空间。解决方法是调整Java虚拟机的内存配置。
摘要由CSDN通过智能技术生成

sbt/sbt assembly 编译源码的时候，可能出现如下问题：


Using /usr/java/jdk1.7.0_71 as default JAVA_HOME.
Note, this will be overridden by -java-home if it is set.
Error occurred during initialization of VM
Could not reserve enough space for object heap
Error: Could not create the Java Virtual Machine.
Error: A fatal exception has occurred. Program will exit.


解决办法：


最低0.47元/天 解锁文章
jiushi848
关注
专栏目录
使用maven编译spark源码
wl555wl的博客
12-19 561
自己编译spark是修改spark源码的必备条件，修改的源码自定义打包生效后才能发布到生产环境中。 现在详细介绍使用maven编译Spark-1.6.0的过程 1、下载Spark-1.6.0的源码 http://spark.apache.org/downloads.html 解压源码 cd  /opt/spark-1.6.0.tgz tar  -
解决Cannot allocate memory服务器内存不足问题
weixin_47741072的博客
08-22 7086
解决方法：通过ps aux|head -1;ps aux|grep -v PID|sort -rn -k +4|head取进程占用内存(MEM)最高的前10个进程，遇到的问题：启动项目报错 failed;error='Cannot allocate memory' (errno=12)服务器内存不足。杀死残留进程，free查看内存占用情况，内存已释放，问题解决。通过：kill -9 进程id。
idea创建第一个flutter应用jvm内存不足，Could not reserve enough space for 1572864KB object heap
Dearbb1的博客
07-07 1万+
 报错提示：This problem might be caused by incorrect configuration of the daemon.For example, an unrecognized jvm option is used.Please refer to the user guide chapter on the daemon at https://docs.gradle....
IDEA maven报错Could not reserve enough space for object heap
xqk709008281的博客
12-19 4234
Error occurred during initialization of VM Could not reserve enough space for object heap 检查JDK与IDEA的版本，对应相同的64位
IDEA 启动项目失败：Could not reserve enough space for object heap
热门推荐
没有眉毛的阿斗叶
08-08 7万+
IDEA部署WEB项目，启动时Tomcat启动失败，控制台上出现以下错误： could not create the java virtual machine Error occurred during initialization of VM Could not reserve enough space for object heap 翻译过来就是： 无法创建java虚拟机； VM初始化期间发生...
个人安装配置sbt流程及遇到的问题
weixin_51547822的博客
10-18 2228
Linux环境下安装sbt编译并打包Scala代码
详细过程图解——win10下idea使用sbt方式编译scala源码
Zhongsigen的博客
11-01 990
win10下idea使用sbt方式编译scala源码 虽然集群使用Linux，Ubuntu的桌面版也有非常好的体验感受，但是windows下写码编译打包成jar文件然后再提交到集群运行也是不错的，故本文记录win10下如何搭建环境 准备工作 idea官网下载 https://www.jetbrains.com/idea/ sbt官网下载 https://www.scala-sbt.org/do...
分析Spark源码第一步——搭建源码阅读环境
midsummer
05-29 6365
为了深入理解spark，想了解一下源码，故搭建了一下源码阅读环境。我是在windows环境下进行的。 step1:工具的获取 我安装的软件及版本如下，搭建之前请安装好这些： (1)java1.8 (2)scala 安装可参考http://www.runoob.com/scala/scala-install.html (3)maven 参考 https://www.yiibai.com...
spark-2.3.1源码包
07-05
Spark是Apache软件基金会下的一个大数据处理框架，以其高效、易用和可扩展性著称。Spark 2.3.1是其重要的版本之一，提供了...在大数据领域，深入理解并掌握Spark源码的编译和部署对于提升开发和运维效率具有重大意义。
IntelliJ IDEA使用SBT构建一个AKKA Scala程序
08-22
IntelliJ IDEA使用SBT构建一个AKKA Scala程序
sbt assembly遇到的两个问题
u012075079的专栏
09-27 1540
1.  deduplicate file appears in two different jar: If multiple files share the same relative path (e.g. a resource named application.conf in multiple dependency JARs), the default strategy is to
spark编译 ./sbt/sbt assembly Error occurred during initialization of VM
nmgrlq的专栏
10-29 1803
apache-spark-user-list.1001560.n3.nabble.com/quot-sbt-sbt-run-quot-command-returns-a-JVM-problem-td5157.html
idea 使用sbt构建工程时错误unresolved dependency: org.scala-sbt#sbt;0.13.8: not found
qq_24955485的博客
10-31 1万+
1.出现场景：在idea中使用sbt构建工程时，
恶心的sbt 超级慢--解决
weixin_34009794的博客
11-16 3029
最近在看sbt相关的资料。发现其构建仓库是用ivy和maven 相信使用过maven的人都知道下载 jar的过程十分痛苦（因为你穷，买不起VPN） 然后我们天朝本来有开源中国的maven库，后来又突然关掉了。 然后我尝试使用 https://jcenter.bintray.com/作为库源（没错，这是安卓那边经常见到的） 后来发现还是那么慢，实在没有办法了。只好再去google。 搜索...
JAVA无法创建虚拟机?Error: Could not create the Java Virtual Machine. Error: A fatal exception has occurred.
qq_48435967的博客
06-18 3万+
我百度了一下有两种意思:1. 大概是说我们的JAVA没有创建虚拟机2. JAVA的栈内存不足以运行JVM1.我先尝试了在IDEA的help中 改了 idea64.exe.vmoptions配置文件，但是并没有起到作用，我尝试重新启动IDEA发现打不开了，然后关系重启也没有作用，百度了半天大概是因为破解IDEA后因为插件原因导致的，没办法就重装了。2. 后面我开始尝试着去用cmd运行java和javac，发现报了这样一个错误/lib/ext exists, extensions mec.........
关于在idea中导入sbt项目出现的问题
风雨诗轩的博客
05-07 1万+
   sbt即Simple Build Tool——简单构建工具，sbt是scala项目的首选构建工具，也是play框架和activator实际使用的构建工具。在《Akka入门与实践》一书中随书源码项目全部使用sbt构建，而我在导入sbt项目时出现了好多问题，特此记录：    1.安装sbt    我们要使用sbt，就必须首先在本地安装一份，官网下载zip包，解压到一个目录就行；其次要在idea中...
Error occurred during initialization of VM Could not reserve enough space for 1572864KB object heap
成都都成
06-08 1080
在gradle.properties中添加org.gradle.jvmargs=-Xmx512m
hadoop@lbw:/usr/local/spark/mycode/remdup$ /usr/local/sbt/sbt package -bash: /usr/local/sbt/sbt: 是一个目录
最新发布
10-20
根据提供的引用内容，您的命令"/usr/local/sbt/sbt package"是一个目录，而不是可执行文件。因此，您需要使用正确的命令来编译您的代码。如果您使用的是Scala编程语言，您可以使用以下命令编译您的代码： /usr/...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值