在使用FP-Growth算法时程序报错问题

最新推荐文章于 2022-10-15 21:03:57 发布
最新推荐文章于 2022-10-15 21:03:57 发布
阅读量1.8k 收藏
点赞数
分类专栏： spark 机器学习 文章标签： spark 算法
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u012940753/article/details/51242775
版权

今天试验了FP-Growth算法，日志做处理，打包到集群运行时报错，报错，但是网上找资料找不到

Items in a transaction must be unique but got WrappedArray

出现此问题的主要原因是fpg算法要求输入的数据是RDD(Array[String])类型，但是Array类型中是不允许出现重复的内容的，所以才会出现这个错误，只需要对输入的数据做个distinct即可


这样，就可以正常运行了

疯狂的程序猿88888
关注
专栏目录
关于spark运行FP-growth算法报错com.esotericsoftware.kryo.KryoException
Running_you
02-05 4156
Spark运行FP-growth异常报错在spark1.4版上尝试运行频繁子项挖掘算法是，照搬官方提供的python案例源码时，爆出该错误com.esotericsoftware.kryo.KryoException (java.lang.IllegalArgumentException: Can not set final scala.collection.mutable.ListBuffer f
python实现fp_growth调包_fp-growth代码问题（Python）
weixin_39834084的博客
12-15 320
网上的 python3fp-growth代码每次在执行时可能会出现找出的频繁项集不一致的情况，这是因为每次执行代码时建的FP树可能不一致。加了一行代码可以解决这个问题(第59行)：先对frequentItemsInRecord 按 key 的ASSIC码排序，然后再按照 key 的支持度(即value值)降序排列。之所以这么做是因为frequentItemsInRecord 中可能会出现支持...
关于spark运行FP-growth算法报错
GameOverTryAgain的博客
08-17 859
package SparkJavaCluster; /** * @Author: zhuchangmin * @Date: 2018/8/15 10:50 * @Version 1.0 * @FileName: SparkJavaCluster.FPDemo_Cluster2.java * @Software: IntelliJ IDEA */ import org.apache...
ftp服务器调用出错
weixin_34280237的博客
07-06 320
因工作需要，需从FTP服务器上下载文件，本地测试OK，服务器上在FTP服务器连接之后卡住，没有异常和提示信息，在打印FTP命令之后，显示：150 Opening data channel for file transfer 百度得到如下结果，试用，成功了 服务器使用FTP命令行 无法传送文件 卡在150 Opening data channel for file transfer猜测，是因FT...
FP回写阶段卡住或报错
weixin_30426065的博客
09-06 157
FP在autosap阶段往往会因各种各样的因素导致回写报错，卡住等异常； 本次由于一个视图的性能突然下降导致回写长期卡住没有完成； 这时如果要重新执行回写的话就要检查哪部分的数据回写到SAP端，一般有三个部分：PR->MO->SO(早上） PR-MO(中午) PR和SO都可以通过日志表去检查有没有回写记录，MO也有，但是MO分三个工厂回写，2021-2023-2022但是要全...
java实现fp-growth算法
weixin_30426879的博客
06-28 3913
最近公司项目上用到频繁项发现算法，于是就用java实现了一个fp-growth算法实现。 环境说明 版本说明 备注 操作系统 debian 9 无　 jdk openjdk 1.8 无 关于fp-growth算法的原理请参考： https://www.cnblogs.com/pinard/p/6307064.html和《机器学习...
【机器学习实战-python3】使用FP-growth算法来高效 发现频繁项集
修行的猫ZQ
05-05 9565
本篇的数据和代码参见：https://github.com/stonycat/ML-in-Action本章会在上一章讨论话题的基础上进行扩展，将给出一个非常好的频繁项集发现算法。该算法称作FP-growth，它比上一章讨论的Apriori算法要快。它基于Apriori构建，但在完成相同任务时采用了一些不同的技术。这里的任务是将数据集存储在一个特定的称作FP树的结构之后发现频繁项集或者频繁项对，即常在
FP-growth python 实现
12-20
FP-growth算法在python中的实现，代码亲测可用，如果有 类似：'ascii' codec can't decode byte 0xe8 in position 0 的报错，请修改fpgrowth.py中的CreatFPtree中的下面两种： orderedItem = [v[0] for v in sorted...
JAVA实现FP_Growth算法（附详细注释）
weixin_40020929的博客
01-01 4828
JAVA实现FP_Growth算法（附详细注释） 在学习数据挖掘的过程中，必然会接触到FP_Growth算法。 而FP_Growth算法需要使用大量的递归调用，比较难以理解和实践，作者在网上多番搜寻也没有找到一个完整详细解释的FP_Growth代码，可能是高手大多不屑于解释自己的代码，无奈只能自己动手，有不足之处请多谅解。 程序编写过程中部分参考了https://www.cnblogs.com/l...
org.apache.spark.SparkException: Items in a transaction must be unique but got WrappedArray()
springLight的博客
07-15 705
在使用pyspark进行频繁项集求解遇到 先看报错： 再看代码： from pyspark.ml.fpm import FPGrowth fp = FPGrowth(minSupport=0.005, minConfidence=0.5,itemsCol="items") fpm = fp.fit(freqDf) fpm.freqItemsets.show(5) 报错原因：Array中不能出现...
weka软件使用问题解决（二）
jiangjiangjiang6的博客
05-25 2564
在毕设过程中使用到weka软件 软件使用过程中遇到的一些问题和解决方法记录 问题二：关联规则apriori算法无法运行问题 问题描述： 打开上述问题一中的文件，发现关联算法中的Apriori算法界面如下图所示 start按钮灰色无法开始运行Apriori算法 问题解决方法： 这是因为我们是此时的数据格式为numeric数值型，需要将格式改成离散型 首先需要先将数据归类，如将{&...
weka实战004：fp-growth关联规则算法
大数据和机器学习研究
05-24 6677
apriori算法的计算量太大，如果数据集略大一些，会比较慢，非常容易内存溢出。 我们可以算一下复杂度：假设样本数有N个，样本属性为M个，每个样本属性平均有K个nominal值。 1. 计算一项频繁集的时间复杂度是O(N*M*K)。 2. 假设具有最小支持度的频繁项是q个，根据它们则依次生成一项频繁集，二项频繁集，....，r项频繁集合，它们的元素数量分别是：c(q, 1), c(q
weka不能使用Apriori/FPGrowth
Luke的学习笔记
11-09 6109
关键字 weka使用不了Apriori weka使用不了FPGrowth 一开始想用weka跑一组关联规则挖掘看看，但老是点击不了开始(start) 后来发现原因是数据类型设的numeric 改成离散型的，就可以了 在arff文件里把所有的属性的数据类型改过来就好了，如下 @attribute A1 numeric改成 @attribute A1 {0,1}即可 其他属性以此
frp常见报错解决办法
最新发布
m0_74288308的博客
10-15 1万+
FRP是一个开源的内网穿透小工具，本人搭建使用过程中经常出现问题（都是心酸泪），虽然现在不用了，因为公司在用神卓互联来替代frp，因为对性能要求比较高，FRP适合个人使用，目前用不到了，现将常见问题整理如下
关于FPGrowth.FreqItemset中的WrappedArray的处理方法
Lestat.Z.的博客
05-22 941
一般我们可以用如下代码使用FPGrowth import org.apache.spark.ml.fpm.FPGrowth val dataset = spark.createDataset(Seq( "1 2 5", "1 2 3 5", "1 2") ).map(t => t.split(" ")).toDF("items") val fpgrowth = new FPG...
sparkmllib关联规则算法（FPGrowth,Apriori）
热门推荐
prometheus的博客
11-20 1万+
关联规则算法的思想就是找频繁项集，通过频繁项集找强关联。 介绍下基本概念： 对于A->B 1、置信度：P(B|A)，在A发生的事件中同时发生B的概率 p(AB)/P(A) 例如购物篮分析：牛奶 ⇒ 面包 2、支持度：P(A ∩ B)，既有A又有B的概率 假如支持度：3%，置信度：40% 支持度3%：意味着3%顾客同时购买牛奶和面包 置信度
FP-Growth算法解决子集和问题
标签"fp-growth"指明了文件与频繁模式挖掘算法相关，这表明工作分配问题.cpp 文件可能涉及到了使用fp-growth算法来分析数据集中的频繁模式，进而关联到解决子集和问题的实际应用中。 文件名称列表中的“工作分配...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值