Spark的bug--Column featuresmust be of type org.apache.spark.ml.linalg.VectorUDT@3bfc3ba7

最新推荐文章于 2021-07-27 09:10:51 发布
最新推荐文章于 2021-07-27 09:10:51 发布
阅读量2.6k 收藏
点赞数
分类专栏： 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/long199366/article/details/80883938
版权
在运行Spark程序时遇到一个IllegalArgumentException，错误信息指出Column的features必须是org.apache.spark.ml.linalg.VectorUDT类型，但实际上却是org.apache.spark.mllib.linalg.VectorUDT类型。错误出现在VectorIndexer的fit方法中，源码分析显示由于直接使用equals方法比较了两个不同类实例，导致比较失败。这个问题被认为是Spark的一个bug。
摘要由CSDN通过智能技术生成

源码：


spark异常如下：

Exception in thread "main" java.lang.IllegalArgumentException: requirement failed: Column features must be of type org.apache.spark.ml.linalg.VectorUDT@3bfc3ba7 but was actually org.apache.spark.mllib.linalg.VectorUDT@f71b0bce.

at scala.Predef$.require(Predef.scala:219)
at org.apache.spark.ml.util.SchemaUtils$.checkColumnType(SchemaUtils.scala:42)
at org.apache.spark.ml.feature.VectorIndexer.transformSchema(VectorIndexer.scala:141)
at org.apache.spark.ml.PipelineStage.transformSchema(Pipeline.scala:74)

at org.apache.spark.ml.feature.VectorIndexer.fit(VectorIndexer.scala:118)


跟踪源码发现--报错位置：


这里新new了一个VectorUDT，与源对象类型比较如下：


这样，直接使用equals比较两对象，造成始终不相等。只是spark的bug

long-king
关注
专栏目录
Spark 3.0 - 3.ML 基本流程与 LR 参数详解、实战
BITDDD小栈
11-19 450
Spark 3.0 ML 基本流程与 LR 参数详解、实战。
java.lang.IllegalArgumentException: requirement failed: Column features must be of type org.apache.s
qq_28286027的博客
04-24 2808
lr训练模型报错： val model1 = lr.fit(training) java.lang.IllegalArgumentException: requirement failed: Column features must be of type org.apache.spark.ml.linalg.VectorUDT@3bfc3ba7 but was actually org.apa...
requirement failed: Column features must be of type org.apache.spark.ml.linalg.VectorUDT@3bfc3ba7
qq_33286695的博客
01-21 3154
Exception in thread “main” java.lang.IllegalArgumentException: requirement failed: Column features must be of type org.apache.spark.ml.linalg.VectorUDT@3bfc3ba7 but was actually org.apache.spark.mllib...
Spark LR逻辑回归中RDD转DF中VectorUDT设置
weixin_30591551的博客
11-19 365
System.setProperty("hadoop.home.dir", "C:\\hadoop-2.7.2"); val spark = SparkSession.builder().config(new SparkConf().setAppName("LR").setMaster("local[*]")).config("spark.sql.warehouse.dir", "f...
spark ML中的vector类型错误
mbshqqb的博客
07-26 3768
Exception in thread "main" java.lang.IllegalArgumentException: requirement failed: Column termWeights must be of type org.apache.spark.ml.linalg.VectorUDT@3bfc3ba7 but was actually ArrayType(DoubleTyp
org.apache.spark.ml.linalg.SQLDataTypes.VectorType
yisun123456的博客
06-24 346
org.apache.spark.ml.linalg.SQLDataTypes.VectorType
numpy-1.26.4.tar.gz
最新发布
03-01
例如，`numpy.linalg`模块提供了矩阵运算，如求逆、行列式、特征值和特征向量等。`numpy.fft`则用于执行快速傅立叶变换（FFT），在信号处理和图像分析等领域有着广泛应用。`numpy.random`模块则能生成各种分布的...
numpy基础教程之np.linalg
09-19
### numpy.linalg 模块详解 #### 一、引言 `numpy.linalg` 是 `NumPy` 库中的一个子模块，专门用于处理线性代数相关的运算。在数据分析、科学计算乃至机器学习等领域中，线性代数是不可或缺的基础工具之一。通过 `...
java.lang.IllegalArgumentException: requirement failed: Column features must be of type struct
strelizia
08-31 2152
在学习spark的机器学习的时候出现了这么一个错误 Exception in thread "main" java.lang.IllegalArgumentException: requirement failed: Column features must be of type struct<type:tinyint,size:int,indices:array<int>,values:array<double>> but was actually struct<
二十种特征变换方法及Spark MLlib调用实例（Scala/Java/python）（二）
热门推荐
liulingyuan6的博客
11-30 1万+
VectorIndexer 算法介绍：         VectorIndexer解决数据集中的类别特征Vector。它可以自动识别哪些特征是类别型的，并且将原始值转换为类别指标。它的处理流程如下： 1.获得一个向量类型的输入以及maxCategories参数。 2.基于原始数值识别哪些特征需要被类别化，其中最多maxCategories需要被类别化。 3.对于每一个类别特征计算0-ba
关于fixed-point
weixin_30725315的博客
11-10 1198
今天又出现了shader的问题，编译到真机效果就没了，后来仔细还是因为浮点数精度的问题，后来仔细查找了些资料，才发现自己太粗心，没有看清楚 fixed-point 数据类型就乱用，这是个范围在 [-1,+1]或者[-1,+2]之间的浮点数，我却当做普通的浮点数用，导致很多数据溢出，所以才丢失原有的效果，得注意了！ 不明白的就去看 http://http.developer.nvidia.com/...
java.lang.IllegalArgumentException: requirement failed: Configured end points null:9092 in advertise
data_data_amtime的博客
01-19 1545
java.lang.IllegalArgumentException: requirement failed: Configured end points null:9092 in advertised listeners are already registered by broker 3 在kafka 下 /config 内找到server.properties 文件 添加端口即可
解决spark任务报错:java.lang.IllegalArgumentException: requirement failed: numRecords must not be negative
a1142939032的博客
03-08 3604
如题，这个任务的报错是有由于消费方的消费条数和注册中心的不一致导致的。解决方法仅供参考哈： 1、先到kafka集群查看消费偏移量 ./kafka-run-class.sh kafka.tools.GetOffsetShell --broker-list [集群地址:对应端口] --topic [topic名] （Pid(分区id)、Offset(当前已消费的条数)、LogSize(总条数)、Lag(未消费的条数)） 2、修改注册中心zookeeper 的偏移量 a、先进入zookeeper ...
spark 报错：java.lang.IllegalArgumentException: requirement failed: init value should = bound 解决
SWEENEY_HE的博客
02-15 3609
spark 逻辑回归报错： Exception in thread "main" java.lang.IllegalArgumentException: requirement failed: init value should <= bound at scala.Predef$.require(Predef.scala:219) at breeze.optimize.StrongWol...
java.lang.IllegalArgumentException: requirement failed: Found duplicate indices: 766.
DayOneMore的博客
02-26 469
问题描述： spark python中使用 CoordinateMatrix的时候出现 java.lang.IllegalArgumentException: requirement failed: Found duplicate indices: 766. 原因分析： 在矩阵的输入文件中，存在重复的值，这是由于原数据hash冲突引起的，哈希冲突存在是正常的。 解决方案： 去除重复元素 使用如下方法 https://www.cnblogs.com/yunlongaimeng/p/8728647.html
java.lang.IllegalArgumentException: requirement failed: indices should be one-based and in ascending
qq_33465047的博客
07-27 686
这个错误出现的原因是： 数据索引应以1为基础并按升序排列，即应该是 应改为：
Spark Machine Learning Error analysis and solution(Error with RDD[Vector];Vector takes type paramet)
Lockey23的博客
08-20 1157
While we follow spark example case class model_instance (features: Vector) //and val df = rawData.map(line =&gt; | { model_instance( Vectors.dense(line.split(",").filter(p =&gt; p.matches("\...
python-程序异常处理
weixin_44737646的博客
01-24 283
异常处理 有些时候我们的程序开发过程中可能会有意想不到的事情发生, 这种情况叫做异常 异常如果处理不好, 可能会导致我们程序退出奔溃, 因此我们要对异常进行处理, 来确保我们的程序能够稳健的运行 异常处理方法 try: 可能奔溃的代码 except 异常名字: try语句出现异常的时候执行的代码 else: try语句中没有能出异常时候执行的代码 finally: 不管程序有没有抛出...
x = np.linalg.solve(A - mu * np.eye(3), x)
06-07
这个线性方程组可以使用 `numpy.linalg.solve` 函数求解，它的参数是一个系数矩阵和一个常数向量，返回的是一个解向量。在这里，系数矩阵就是 $A-\mu I$，常数向量是 $x_k$，解向量就是 $x_{k+1}$。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

long-king

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值