Spark PCA 特征时 java.lang.OutOfMemoryError: Java heap space

最新推荐文章于 2022-01-13 00:23:00 发布
最新推荐文章于 2022-01-13 00:23:00 发布
阅读量976 收藏
点赞数
分类专栏： spark machine leaning
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/jeffiny/article/details/79169788
版权

1、背景：样本量在2W左右，特征数在1W左右；利用spark 的pca 特征时，总报错 java.lang.OutOfMemoryError: Java heap space；

2、解决方法：

spark.driver.maxResultSize", "40g"  产生的结果大于默认的1024M,需要的话设置大点；

 --driver-memory 100g （大点）


大师兄你家猴跑啦
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
成功解决numpy.linalg.LinAlgError: SVD did not converge
近期请国内外头部出版社可尽快私信博主！——心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，谦虚，自律，反思，成长，还算是比较正能量的博主，公益免费传播……内心特别想在AI界做出一些可以推进历史进程影响力的东西(兴趣使然，有点小情怀，也有点使命感呀)…
02-14 3917
成功解决numpy.linalg.LinAlgError: SVD did not converge。
ModuleNotFoundError: No module named ‘sklearn‘解决方案
热门推荐
weixin_43178406的博客
05-06 7万+
本文主要介绍了ModuleNotFoundError: No module named 'sklearn’解决方案，希望能对学习sklearn的同学们有所帮助。 文章目录 1. 问题描述 2. 解决方案
java.sql.SQLSyntaxErrorException:
qq_43620227的博客
09-22 7049
Error querying database. Cause: java.sql.SQLSyntaxErrorException: 1)检查了SQL语句和map文件都没有问题,dubugger了一下,就收不到数据,后来发现是数据库表结构有错误,重新导一下数据库表数据就好了.
requirement failed: Column features must be of type org.apache.spark.ml.linalg.VectorUDT@3bfc3ba7
qq_33286695的博客
01-21 3124
Exception in thread “main” java.lang.IllegalArgumentException: requirement failed: Column features must be of type org.apache.spark.ml.linalg.VectorUDT@3bfc3ba7 but was actually org.apache.spark.mllib...
用java实现主成分分析(PCA)降维
luohualiushui1的专栏
03-08 5666
在机器学习和数据挖掘中，我们经常需要对数据的大量特征进行降维处理，减少训练的运算量和运算时间，而主成分分析(PCA)就是用来进行降维操作的算法。 主成分分析(PCA)的描述如下： PCA(Principal Component Analysis)，即主成分分析方法，是一种使用最广泛的数据降维算法。PCA的主要思想是将n维特征映射到k维上，这k维是全新的正交特征也被称为主成分，是在原有n维特征的...
spark ml 3.2.0实现SVM,LogisticRegression示例（Java版本）
MJ的博客
01-13 1222
完整项目入口 package com.jwolf.bigdata; import org.apache.spark.ml.Pipeline; import org.apache.spark.ml.PipelineModel; import org.apache.spark.ml.PipelineStage; import org.apache.spark.ml.classification.LinearSVC; import org.apache.spark.ml.classification.Logis
Spark ML特征的提取、转换和选择
象在舞的技术专栏
04-28 3830
声明：代码主要以Scala为主，希望广大读者注意。本博客以代码为主，代码中会有详细的注释。相关文章将会发布在我的个人博客专栏《Spark 2.0机器学习》，欢迎大家关注。 一、特征的提取 1、TF-IDF（词频-逆向文档频率） TF（词频）：HashingTF与CountVectorizer用于生成词频TF向量。HashingTF是一个特征词集的转换器（Tra...
【OpenCV Java】opencv官方java例程演示（Windows下）
进一寸有一寸的欢喜
02-27 1万+
0 下载与安装 （Windows下） https://opencv.org/： 选择喜欢的版本安装，opencv3.4以后支持深度学习API   1 环境搭建  OpenCV Java with Eclipse：https://docs.opencv.org/trunk/d1/d0a/tutorial_java_eclipse.html 问题1：搭建opencv4.0环境失败： ...
用几行代码实现sklearn中PCA的PCA.transform、PCA.fit_transform和PCA.inverse_transform功能
一只懒猫的博客
07-31 5489
用几行代码实现sklearn中PCA的PCA.transform、PCA.fit_transform和PCA.inverse_transform功能
LP.rar_LP_LP JAVA_PCA Java
09-23
标题中的"LP.rar_LP_LP JAVA_PCA Java"表明这是一个关于线性规划（LP）的Java程序，其中可能包含了PCA（主成分分析）的实现。线性规划是一种优化方法，常用于在满足一组线性约束条件下，最大化或最小化一个线性目标...
pca.rar_PCA Java_PCA Java_java pca_人脸识别 pca
09-20
在Java编程环境中实现PCA算法，可以帮助开发者处理大量面部图像数据，以进行人脸识别。 PCA的关键步骤包括数据预处理、计算协方差矩阵或相关矩阵、特征值分解以及选择主成分。以下是这些步骤的详细解释： 1. **...
PCA（Java版）用了jama.jar
02-20
PCA，即主成分分析（Principal Component Analysis），是一种广泛应用于数据降维的方法，它通过线性变换将原始数据转换成一组各维度线性无关的表示，从而达到减少数据维度、提取主要特征信息的目的。在Java环境下，...
pca.rar_site:www.pudn.com
09-20
在压缩包的文件名称列表中，我们看到只有一个名为“pca.m”的文件。根据文件扩展名.m，可以推断这可能是一个MATLAB脚本或函数，因为MATLAB中.m文件通常用于编写函数或脚本。这个文件很可能是实现PCA算法的核心代码，...
PCA.rar_pca设计英文_site:www.pudn.com
09-24
PCA，即主成分分析（Principal Component Analysis），是一种广泛应用于数据降维和特征提取的统计方法。在机器学习、数据分析和图像...如果你对PCA感兴趣，可以从提供的PCA.dps文件中进一步学习和探索PCA的详细知识。
Hdfs 数据块丢失处理
大师兄你家猴跑啦的博客
12-06 1万+
1、查看节点、hdfs、丢失的数据块 命令：hadoop dfsadmin -report    用这个命令可以快速定位出哪些节点down掉了，HDFS的容量以及使用了多少，以及每个节点的硬盘使用情况。 当然NameNode有个http页面也可以查询，但是这个命令的输出更适合我们的脚本监控dfs的使用状况；具体如图： [root@66666logs]# hdfs df
spark 处理大量数据时报错： ERROR scheduler.LiveListenerBus: Listener EventLoggingListener threw an exception j
大师兄你家猴跑啦的博客
03-14 8029
1、数据处理环境：       spark版本： 2.0.22、数据处理的特征有几千维度，具体报错信息为：18/03/09 23:28:49 ERROR scheduler.LiveListenerBus: Listener EventLoggingListener threw an exception java.io.IOException: All datanodes DatanodeInfo...
Spark GC overhead limit exceeded
大师兄你家猴跑啦的博客
04-24 7754
1、在运行spark 代码时，抛出错误：18/03/24 08:52:00 WARN server.TransportChannelHandler: Exception in connection from /192.168.200.164:37768 java.lang.OutOfMemoryError: GC overhead limit exceeded at java.io...
idea中运行pca时报错，Exception in thread "main" java.lang.OutOfMemoryError: Java heap space
最新发布
01-08
当在IDEA中运行PCA时出现"Exception in thread "main" java.lang.OutOfMemoryError: Java heap space"错误时，这意味着Java堆空间不足。这通常是由于数据量过大而导致的。为了解决这个问题，你可以尝试以下几种方法： 1. 增加Java堆空间的大小：你可以通过在IDEA的运行配置中增加JVM参数来增加Java堆空间的大小。具体步骤如下： - 打开IDEA并进入项目的运行配置。 - 在VM选项中添加以下参数：-Xmx<堆大小>，例如-Xmx4g表示将堆大小设置为4GB。 - 保存配置并重新运行程序。 2. 优化代码和数据：如果你的数据量非常大，你可以考虑对代码和数据进行优化，以减少内存的使用。例如，你可以尝试使用稀疏矩阵来表示数据，或者使用分布式计算框架（如Spark）来处理大规模数据。 3. 增加系统的物理内存：如果你的计算机物理内存足够大，你可以尝试增加系统的物理内存。这样可以提供更多的内存供Java堆使用。 4. 使用分布式计算框架：如果你的数据量非常大，你可以考虑使用分布式计算框架（如Spark）来处理数据。这样可以将计算任务分布到多台机器上，从而减少单台机器的内存压力。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值