spark报错：Can‘t get JDBC type for array＜int＞

已于 2024-01-29 09:19:38 修改
阅读量515 收藏 8
点赞数 9
分类专栏： Bug仓库 文章标签： spark
于 2024-01-05 11:46:59 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xtsheng123456/article/details/135406006
版权

在spark中使用jdbc保存数据到ck报错Can't get JDBC type for array<int>，是因为有一个字段是array

671d0bd7d7be4215ba159433952be485.png

与数据表中的字段类型int64不匹配。

解决思路：

1、使用printSchema()查看数据是否与目标格式一样

2、如果不一样，使用explode炸开array，如：

.withColumn("charge_user_ids", explode(col("charge_user_ids")))

注意，如果charge_user_ids存在空值，要使用explode_outer,防止数据被炸没了

也可以使用charge_user_ids(0) 获取值

 

 

小天278
关注
  • 9
    点赞
  • 踩
  • 8
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
spark报错java.lang.IllegalArgumentException: Can‘t get JDBC type for array＜string＞
qq_45087487的博客
08-05 499
2、原因：hive表中元素为数组类型，mysql不支持，需要将类型转换一下就可（比如转换成字符串等等）1、使用spark任务将hive中的表数据存入到mysql中报如下错误。3、方案：进行备份之前将hive中为数组类型的数据结构进行转换一下。
java dataframe 遍历,java - Spark DataFrame写入JDBC - 无法获取struct的JDBC类型 ？ - SO中文参考 - www.soinside.com...
weixin_36302331的博客
03-13 334
我是新手，并试图将数据帧写入db2表。我得到的错误是：Exception in thread "main" java.lang.IllegalArgumentException: Can't get JDBC type for struct 我的数据库架构是localId effectiveDate activityDate inDate outDate 我为我的db表创建了一个POJO类，就像这...
Can‘t get JDBC type for struct＜date:int,day:int,hours:int,minutes:int,month:int,seconds:int,time:big
weixin_44455388的博客
07-20 2943
使用Spark将DataFrame类型数据保存到Oracle的过程中报错: Exception in thread "main" java.lang.IllegalArgumentException: Can't get JDBC type for struct <data:int, day:int, hours:int, minutes:int, month:int, seconds:int, time:bigint, timeZoneOffset:int, year:int> Oracle
java.lang.IllegalArgumentException: Can‘t get JDBC type for null spark 向 mysql 推数
小小爪哇工程师的博客
02-28 816
spark 向 mysql 推数报错，这是因为mysql建表的时候不允许为null ，所以插入的时候报错。
Spark通过jdbc写入Clickhouse
qq_35028146的博客
03-13 7484
Spark通过jdbc将Array类型数据写入Clickhouse前言问题解决 前言 一般的将Spark dataframe写入clickhouse的代码. // An highlighted block val prop=new Properties() val ckDriver="ru.yandex.clickhouse.ClickHouseDriver" prop.put(...
Spark DataFrame写入MySQL数据库（二）
zhouzhuo_CSUFT的博客
11-08 1936
      对于DataFrame中字段为复合类型，即不是SQL字段中支持的数据类型的话，将DataFrame存入SQL将报错。本人在用Spark做机器学习时，常常会产生一些特征值（即一些向量）。如果直接将DataFrame字段中的特征值直接写入SQL中将会报错，如下： Exception in thread "main" java.lang.IllegalArgumentException:...
lenses-jdbc-spark:通过JDBC与Kafka一起使用Apache Spark !!!
05-15
Kafka JDBC <-> Spark 通过JDBC与Kafka一起使用Apache Spark !!! 博客 执照 该项目已获得Apache 2许可。
spark jdbc 读取并发优化
02-14
spark scada jdbc连接数据库读取数据的并发优化方法。
Spark实验：On Yarn模式安装部署（带答案）1
08-03
Spark on Yarn是一种将Spark应用程序部署在Hadoop YARN资源管理器上的方法，它允许Spark充分利用YARN的资源管理和调度功能。在这个实验中，我们将详细探讨如何在Yarn模式下安装和部署Spark集群。 首先，我们需要...
SparkR：数据科学家的新利器
02-26
作为增强Spark对数据科学家群体吸引力的最新举措，最近发布的Spark1.4版本在现有的Scala/Java/PythonAPI之外增加了RAPI（SparkR）。SparkR使得熟悉R的用户可以在Spark的分布式计算平台基础上结合R本身强大的统计分析...
Spark驱动文件 Simba_Spark_JDBC.zip
09-05
Spark驱动文件 Simba_Spark_JDBC.zip Apache Commons Copyright ?2001-2015 The Apache Software Foundation Apache Commons Codec Copyright ?2002-2014 The Apache Software Foundation Apache Hadoop Common ...
Pyspark 连接 mysql 各种问题
TR_0323的博客
02-25 495
关于 PySpark 提交集群运行 原先代码如下 import os import sys project = 'OneStopDataPlatformPY' # 工作项目根目录 path = os.getcwd().split(project)[0] + project sys.path.append(path) print(path) from pyspark.sql import Spa...
你需要的，spark写pg报错：java.lang.IllegalArgumentException: Can't get JDBC type for null
大壮的博客
11-05 6019
首先来看报错信息 看到google上有开发者阅读源码：   这是他的解决方案。 其实意思就是说，你的空值插不进去，要重新将null做成数据插进去，比方说int需要插0，如果0已经有意义，那就-1呗。莫慌...
scala-sparkML学习笔记：struct type tinyint size int indices array int values array double type
MachineLP的专栏
10-29 2348
错误类型： CSV data source does not support struct<type:tinyint,size:int,indices:array<int>,values:array<double>> data type. predictPredict.select("user_id", "probability", "label")...
mybatis中的jdbcType配置
拓子轩
10-29 1460
1. 可以配置的jdbcType类型   BIT FLOAT CHAR TIMESTAMP OTHER UNDEFINED TINYINT REAL VARCHAR BINARY BLOB NVARCHAR SMALLINT DOUBLE...
mybatis-plus使用中的常见问题
热门推荐
我是个少年的博客
03-16 7万+
如何排除非表中字段？ 三种方式选择一种即可！ 使用 transient 修饰 private transient String noColumn; 使用 static 修饰 private static String noColumn; 使用 TableField 注解 @TableField(exist=false) private Str...
pyspark ml 报错: need struct type but got struct type:tinyint,size:int,indices:array
Jacquelin_1的博客
03-25 5311
pyspark model transform 之后出现列probability，若要提取预测为1的概率： 直接对原列处理的报错： `argument 1 requires string type, however, 'probability' is of struct<type:tinyint,size:int,indices:array<int>,values:array&...
JdbcType类型和Java类型的对应关系和tinyint 问题
lyf_ldh的博客
08-03 1万+
JDBC Type Java Type CHAR String VARCHAR String LONGVARCHAR String NUMERIC java.math.BigDecimal DECIMAL java.math.BigDecimal BIT boolean BOOLEAN boolean ...
MySQL-MyBatis-Tinyint填坑
若鱼的专栏
03-11 7102
先看下表结构： mysql> show create table user \G *************************** 1. row *************************** Table: user Create Table: CREATE TABLE `user` ( `id` int(11) NOT NULL AUTO_INCREMENT...
requirement failed: Column features must be of type struct<type:tinyint,size:int,indices:array<int>,values:array<double>> but was actually struct<type:tinyint,size:int,indices:array<int>,values:array<double>>.
最新发布
05-28
这个错误一般是因为你在定义 ML 管道时，定义的特征列类型与实际数据集中特征列的类型不匹配。建议你检查一下你定义的特征列类型是否与实际数据集中特征列的类型一致。 如果你使用的是 Spark 2.3 及以上版本，可以使用 VectorAssembler 类来将多个特征列合并为一个特征向量列。例如： ``` import org.apache.spark.ml.feature.VectorAssembler val assembler = new VectorAssembler() .setInputCols(Array("col1", "col2", "col3")) .setOutputCol("features") val transformedData = assembler.transform(data) ``` 其中，"col1", "col2", "col3" 是你要合并的特征列的列名，"features" 是合并后的特征向量列的列名。注意，合并后的特征向量列必须是 Vector 类型，否则会出现上述错误。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值