ALS.train 报错java.lang.StackOverflowError

最新推荐文章于 2024-05-27 10:53:41 发布
最新推荐文章于 2024-05-27 10:53:41 发布
阅读量737 收藏 1
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq595662096/article/details/88535521
版权

开发协同过滤组件，运用了spark millb上的协同过滤 ALS算法。在测试过程中遇到了内存溢出的错误，查找了错误位置，发现在训练的时候，迭代次数的增加便会出现这个问题，原因可能是迭代是的计算的数据量指数上升

sc.setCheckpointDir("/tmp")

问题暂时解决

因为这只是一个治标不治本的办法。每次你还要去删除/tmp里面的文件

 

时间_实践
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
运行 Spark ALS 程序 内存溢出
干货
10-31 1663
执行这个20几条记录，机器就会内存溢出，在本地、单机服务器都是这样。换个电脑也是这样。 后来也改了代码，还会这样。不过才这么几条数据，就内存溢出，讲不通啊。 后来找到一个临时解决方法，就是删除这个application，重新运行。 删除后的第一次运行基本都能运行成功。第二次运行就会失败。 那么然后就在VM option 里面添加参数：-Xmx10G 。就又能运行几次。 ...
Spark任务报java.lang.StackOverflowError
疯狂的暴走蜗牛的专栏
03-09 5657
Spark任务报java.lang.StackOverflowError 简介 日前遇到一个问题，在提交一个spark任务（提交模式:yarn-client），去读取2000+个字段的hive表时，报出一个错误：java.lang.StackOverflowError，于此分析记录一下问题。 问题分析 此问题的原因在于，通过sparksession去读取hive表时，会在 driver 端去解析...
【栈问题】java.lang.StackOverflowError: null
最新发布
qq_50728732的博客
05-27 393
1. 栈溢出错误是什么？在Java中，当一个程序运行时，每当调用一个方法，JVM就会在调用栈上添加一个栈帧（stack frame）以存储局部变量和操作指令。通常，内存中有足够的空间来处理正常的方法调用，但如果有大量递归调用或深层次的方法调用嵌套，那么JVM的调用栈可能会耗尽，这时就会抛出StackOverflowError异常。简单来说，如果一个线程所需用到栈的大小>配置允许最大的栈大小或者死循环会导致该异常。2. StackOverflowError通常有几个常见的原因🚩无限递归。
spark 报java.lang.StackOverflowError
u014552678的博客
12-14 505
spark 广播类报java.lang.StackOverflowError 背景：需要广播一个167M的tree类，所以报栈内存不够 解决办法：在spark-submit里加上：（目前由于数据量级小，所以采用local模式运行） spark-submit \$ --class bp_beauty_op.beauty_op \$ --master local[*] \$ --driver-java-options "-Xss256m" \$ test-1.0-SNAPSHOT.jar 或者在spark-
spark java.lang.StackOverflowError
bitcarmanlee的博客
12-09 1151
1.遇到的问题 在实际分析数据过程中，需要拉取最近一年的数据进行统计，并且一年的数据按天分区。 val ymdSet = TimeUtils.genYmdSet(beginYmd, endYmd) // 获取过去一年时间的日期 var rdd = SparkIo.readThriftParquetFile(spark.sparkContext, pathxxx, classOf[xxx]) for(eachYmd <- ymdSet) { val tmppath = PathUtils.xxx
als.zip_软件工程_Java_
08-10
本压缩包"als.zip_软件工程_Java_"可能包含与Java编程和软件工程实践相关的资料，特别是与Spark分布式计算框架相关的知识。 Spark是Apache软件基金会的一员，它是一个快速、通用且可扩展的大数据处理框架。它设计的...
lm3533-als.rar_ALS sensor
09-20
这个压缩包文件"lm3533-als.rar"包含了一个名为"lm3533-als.c"的源代码文件，这通常是用于实现LM3533芯片在系统中的驱动程序。 LM3533是一款集成的环境光传感器（ALS），由德州仪器（Texas Instruments）设计和制造...
ALS.rar_AML8226_als_als算法
09-20
标题中的"ALS.rar_AML8226_als_als算法"揭示了我们正在讨论的是一个与ALS（Alternating Least Squares，交替最小二乘法）算法相关的项目，特别是与AML8226芯片和某种特定应用（可能是传感器或数据处理）的ALS硬件...
PreWork_ALS.py
09-24
PreWork_ALS.py
als.js演示4种不同的标题和图片滚动方式
11-12
本文将详细解析"als.js"库如何实现四种不同的标题和图片滚动方式，帮助开发者理解和运用这一技术。 "als.js"，全称可能是"Advanced Lightbox Slideshow"，是一个轻量级的JavaScript库，主要用于创建优雅、动态的...
java.lang.stackoverflowerror解决方法,Spark出现java.lang.stackoverflowerror的解决方法
weixin_28747257的博客
03-14 242
BFC和haslayout待补充 参考链接:http://www.cnblogs.com/lhb25/p/inside-block-formatting-ontext.html 标准浏览器: BFC(block formatt ...PHP表单数据写入MySQL代码插入操作 view保存为图片一.概述 简书.微博.便签等都有将文章保存为图片的功能.笔者臆测,此功能的实现原理如下. 二.实现 2....
spark任务爆出大量的java.lang.StackOverflowError
u011602667的专栏
08-19 2042
spark executor jvm 参数设置
Spark 训练机器学习模型莫名报错（java.lang.stackoverflow）
记录学习痕迹的公众号：Piper蛋窝
02-09 920
归根结底是当时不了解 Spark 原理。
Spark之报错java.lang.StackOverflowError（栈溢出） 解决方案
zp17834994071的博客
09-17 2603
前面在运行Spark项目的时候，突然就报了个错：java.lang.StackOverflowError，以前也没出现过这种情况，原来是栈溢出，内存不够导致的。 需要在spark的配置文件中添加新的内存信息。 vi /opt/soft/spark234/conf cp spark-defaults.conf.template spark-defaults.conf vi spark-defaults.conf //添加以下配置信息 spark.driver.extraJavaOptions="-
java.lang.StackOverflowError
a19860903的专栏
02-24 1392
在android中有时会报出 java.lang.StackOverflowError，出现这个的原因有很多种。 1.布局嵌套太深 2.定义图片xml描述文件时，xml文件名和xml所使用的图片的名字是一样的
Spark SQL报错：java.lang.StackOverflowError（栈溢出）原因及 解决方案
qq_45124566的博客
04-18 1685
Spark SQL报错：java.lang.StackOverflowError
ALS思路+代码（全） （待整理）
shuangshaung_的博客
12-13 2359
sc.setLogLevel("WARN")//设置不打印一堆INFO信息（减少打印量 保证Shell页面清晰干净） 一：导入相关recommendation包中相关类，然后加载数据，并解析到RDD【Rating】对象 ①导入包，recommendation._是导入recommendation包中全部的类 scala> import org.apache.spark
机器学习算法系列(4)--ALS
淡淡的倔强的博客
08-10 3580
本文转载自：endymecy|ALS 一、什么是ALS ALS是交替最小二乘（alternating least squares）的简称。在机器学习中，ALS特指使用交替最小二乘求解的一个协同推荐算法。它通过观察到的所有用户给商品的打分，来推断每个用户的喜好并向用户推荐适合的商品。举个例子，我们看下面一个8*8的用户打分矩阵。 这个矩阵的每一行代表一个用户（u1,u2,…,u8）、每一列...
Py4JJavaError Traceback (most recent call last) <ipython-input-5-741e2031767c> in <module> 34 err = 0 35 for rank in ranks: ---> 36 model = ALS.train(training_RDD,rank,seed= 10,iterations=10,lambda_ =0.3) 37
06-09
这段代码是使用Apache Spark中的ALS算法进行推荐系统的训练，...但是，根据报错信息来看，代码出现了Py4JJavaError错误，这可能是因为在训练过程中出现了Java层面的异常。具体错误原因需要查看完整的错误信息才能确定。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值