maven编译spark报PermGen space解决办法

最新推荐文章于 2021-06-13 16:20:20 发布
最新推荐文章于 2021-06-13 16:20:20 发布
阅读量1.1k 收藏
点赞数
分类专栏： 安装部署 文章标签： spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wl044090432/article/details/51274855
版权

       利用mvn -Pyarn -Dhadoop.version=2.4.1 -Dyarn.version=2.4.1 -DskipTests clean package编译spark的时候，maven在编译core模块的时候会异常退出，关键信息为：PermGen space。其原因是maven默认的堆内存设置太小，导致内存溢出。

      解决办法：修改maven的配置文件

     [root@chen_liang5 bin]# pwd
     /home/hadoop/Downloads/apache-maven-3.3.9/bin
     [root@chen_liang5 bin]# vim mvn

     增加以下配置：MAVEN_OPTS="$MAVEN_OPTS -Xms512m -Xmx512m -XX:MaxPermSize=256m -XX:ReservedCodeCacheSize=64m"

     重新编译成功

亮亮-AC米兰
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
spark编译失败 PermGen space
lxpbs8851的专栏
08-01 1455
最近 spark2.0 出来了 mvn 编译了下 ： 报错： [ERROR] PermGen space -> [Help 1] [ERROR]  [ERROR] To see the full stack trace of the errors, re-run Maven with the -e switch. [ERROR] Re-run Maven using the -X
maven中PermGen space解决
ubuntu_java专栏
12-20 2847
Windows: 找到文件%M2_HOME%\bin\mvn.bat @REM set MAVEN_OPTS=-Xdebug -Xnoagent -Djava.compiler=NONE...    在注释下面加入一行:    set MAVEN_OPTS=%MAVEN_OPTS% -XX:MaxPermSize=128m Linux:       mvn文件       expor
解决Spark用Maven编译时报Exception in thread “main“ java.lang.OutOfMemoryError: PermGen space异常
mhx123456789的博客
06-13 208
解决Spark用Maven编译时报Exception in thread "main" java.lang.OutOfMemoryError: PermGen space异常
解决PermGen space
Tomorrow_csdn的博客
07-21 697
今天程序中遇到了Java.lang.OutOfMemoryError: PermGen space的异常话不多说,解决办法如下:然后在以下位置添加:-Xms256m -Xmx512m -XX:MaxNewSize=256m -XX:MaxPermSize=256m然后重启eclipse...
maven ：PermGen space jvm溢出
fcfwang_net的博客
09-10 702
项目是由maven管理的，maven中配置了Tomcat，使用Tomcat运行程序，出现了下面的错误java.lang.OutOfMemoryError: PermGen space at java.lang.ClassLoader.defineClass1(Native Method) at java.lang.ClassLoader.defineClass(Unknown Sou
使用maven编译Java项目实例
08-25
主要介绍了使用maven编译Java项目实例,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，,需要的朋友可以参考下
Spark_compile:通过maven编译之后的Spark原始码-源码通
03-24
它还支持丰富的高级工具集，包括用于SQL和DataFrames的Spark SQL，用于机器学习的MLlib，用于图形处理的GraphX和用于流处理的Spark Streaming。 在线文件 您可以在和上找到最新的Spark文档，包括编程指南。 此自述...
Spark 源码编译完整教程（maven编译+sbt编译+编译工具包+操作步骤笔记+依赖包下载镜像设置）
03-08
自己学习并应用Spark一段时间后，由于需要改源代码，就研究了下怎么编译源码，成功编译后，记录下了编译的步骤和遇到的问题，例如编译过程中，下载大量的依赖包，默认从国外下载，非常慢，可能要编译好几个小时，...
Maven搭建Spark的配置文件
03-15
由于IDEA的SBT框架建立过程特别缓慢...所以下面介绍一种基于IDEA的Maven框架搭建Spark开发环境，只需要建立添加Maven模块并导入该XML配置文件即可，注意其中的Spark版本和Scala版本要相互匹配。如有任何问题可以留言。
解决idea使用maven编译正常但是运行项目时却提示很多jar包找不到的问题
08-18
"解决IDEA使用Maven编译正常但是运行项目时却提示很多jar包找不到的问题" IDEA是IntelliJ开发的一款集成开发环境（IDE），Maven是 Apache 软件基金会的一款基于项目对象模型（POM）的项目管理工具。使用IDEA和Maven...
解决方案之用Maven编译时报 java.lang.OutOfMemoryError: PermGen space异常
seasons1225的博客
12-05 2386
使用： mvn clean package -DskipTests11 对spark进行编译时，会报错： java.lang.OutOfMemoryError: PermGen space11 解决办法： 1.window下： set MAVEN_OPTS=-Xmx2g -XX:MaxPermSize=512M -XX:ReservedCodeCacheSize=512m
解决多工程maven项目启动出现permgen space问题
鲨墨狐的博客
08-18 1482
我决定从今天开始在csdn上记录自己在开发过程中遇到的bug和解决方案。 这个问题估计很多人都遇到过，我最近在弄一个多工程的maven项目，可是每次启动都会自动进入dubug模式，但是我并没有打断点，而一旦跳过这个断点，系统就会出现permgen space的错误，网上百度很多方法都不管用，后来我发现其实解决很简单,只要在项目上右键->run as ->run configuration ,在跳
Spark学习15之用Maven编译时报 java.lang.OutOfMemoryError: PermGen space异常
Keep Learning
05-23 2079
使用：mvn clean package -DskipTests对spark进行编译时，会报错：java.lang.OutOfMemoryError: PermGen space解决办法：1.window下：set MAVEN_OPTS=-Xmx2g -XX:MaxPermSize=512M -XX:Reserve dCodeCacheSize=512m 2.ubuntu下：export MA
使用mvn插件执行工程单元测试OOM的解决办法
e5945的专栏
07-12 4499
问题：同事的一个工程最近几天使用mvn test跑单元测试回归时，每天都会报“org.apache.maven.surefire.booter.SurefireExecutionException:PermGen space; nested exception is java.lang.OutOfMemoryError: PermGen space”这个错误。         拿到问题后，我
eclipse运行报java.lang.OutOfMemoryError: PermGen space解决方法
weixin_30390075的博客
04-24 430
一、在window下eclipse里面Server挂的是tomcat6，一开始还是以为，tomcat配置的问题，后面发现，配置了tomcat里面的catalina.bat文件，加入 set JAVA_OPTS=-Xms512m -Xmx1024m -XX:PermSize=256M -XX:MaxNewSize=108m -XX:MaxPermSize=512m ，ecli...
Spark故障排除
shipengyy的专栏
04-13 3226
使用spark有一段时间了，期间遇到了不少问题，诸如out of memory，java.io.IOException: Filesystem closed，task任务过多导致性能低下等等。现一一列举如下，并给出解决方案。 1. 内存问题，heap error，java.lang.OutOfMemoryError: PermGen space spark的作业节点有driver和execut
解决eclipse报PermGen space异常的问题
weixin_33912445的博客
01-16 1310
开发中遇到Eclipse报错：java.lang.OutOfMemoryError: PermGen space。 PermGen space百度翻译为：永久区域内存不足。   1. 先来一张jvm结构图： 内存不足问题一般都是发生在'堆'上，GC作用区域也是在'堆'上。   2. 这个'堆'又划分成了好几块区域，包括： 　　新生代：包括伊甸园区和存活区。 　　老年代： 　　永久带：jdk1.8...
Spark任务提交 yarn-cluster模式 解决jvm内存溢出问题 以及简单概述jdk7方法区和jdk8元空间
chixushuchu的博客
12-20 1287
yarn-cluster 提价任务流程 1、提交方式 ./spark-submit --master yarn --deploy-mode cluster --class org.apache.spark.examples.SparkPi ../lib/spark-examples-1.6.0-hadoop2.6.0.jar 100 或者 ./spark-submit --master ...
hiveonspark配置 maven+spark编译+hive配置
最新发布
06-28
下载Spark源码，使用Maven编译Spark。在Spark源码目录下执行以下命令： mvn -DskipTests clean package 编译完成后，在target目录下可以找到编译好的Spark包。 3. 配置Hive 下载Hive源码，使用Maven编译Hive。在...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值