hive on spark写pg 字段置为null的问题 java.lang.IllegalArgumentException: Can‘t get JDBC type for null

最新推荐文章于 2024-04-26 09:51:23 发布
最新推荐文章于 2024-04-26 09:51:23 发布
阅读量1k 收藏
点赞数 2
分类专栏： 报错集合 文章标签： hive spark java
本文为博主原创文章，转载请显著位置标明出处，未经博主允许不得用于商业目的。
本文链接：https://blog.csdn.net/qq_44831907/article/details/125891159
版权

0 场景

hive on spark一个写pg的任务，某些字段弃用，但是不方便改pg的表结构，所以，把hive这边的sql中的某些字段需要置空。
发现

  • null as column 不行
  • 直接 null 也会报错

1 解决

直接注释、删除掉需要置空的字段即可
例如

before: select id,name,age from student ,id和name字段不需要再抽取了
after: selct age from student

mizuhokaga
关注
  • 2
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
hive-jdbc-1.2.1.spark2.jar
04-01
hive-jdbc-1.2.1.spark2.jar
Hive_JDBC.zip_hive java_hive jdbc_hive jdbc pom_java hive_maven连
09-23
Class.forName("org.apache.hive.jdbc.HiveDriver"); Connection con = DriverManager.getConnection("jdbc:hive2://localhost:10000/default", "", ""); Statement stmt = con.createStatement(); String ...
java.lang.IllegalArgumentException: Can‘t get JDBC type for null spark 向 mysql 推数
小小爪哇工程师的博客
02-28 830
spark 向 mysql 推数报错，这是因为mysql建表的时候不允许为null ，所以插入的时候报错。
你需要的，spark写pg报错：java.lang.IllegalArgumentException: Can't get JDBC type for null
大壮的博客
11-05 6028
首先来看报错信息 看到google上有开发者阅读源码：   这是他的解决方案。 其实意思就是说，你的空值插不进去，要重新将null做成数据插进去，比方说int需要插0，如果0已经有意义，那就-1呗。莫慌...
spark错误集锦
最新发布
chanyue123的博客
04-26 1033
spark遇到的错误 持续更新
postgresql 修改表的字段由NOT NULL修改为NULL
热门推荐
闵浮龙的博客
06-20 2万+
postgresql 修改表的字段由NOT NULL修改为NULL： alter table mytable alter test drop not null; 参考地址：http://www.bufeihua.cn/p/57373753b98b3512bf9fd041
SparkSQL 读写 Mysql
chbxw
04-02 1034
参考： https://spark.apache.org/docs/latest/sql-data-sources-jdbc.html。
spark报错java.lang.IllegalArgumentException: Can‘t get JDBC type for array＜string＞
qq_45087487的博客
08-05 508
2、原因：hive表中元素为数组类型，mysql不支持，需要将类型转换一下就可（比如转换成字符串等等）1、使用spark任务将hive中的表数据存入到mysql中报如下错误。3、方案：进行备份之前将hive中为数组类型的数据结构进行转换一下。
解决启动Azkaban报错问题：java.lang.NoSuchMethodError: com.google.common.collect.ImmutableMap.toImmutableMap
10-15
在Java编程中，`NoSuchMethodError` 是一个常见的运行时异常，它表示在类加载时找到了该类，但在该类中却找不到特定方法的定义。这个问题通常发生在不同版本的库之间存在不兼容的情况，即在编译时使用的库版本包含了...
FAILED: SemanticException org.apache.hadoop.hive.ql.metadata.HiveException: java.lang.RuntimeExcepti
01-07
FAILED: SemanticException org.apache.hadoop.hive.ql.metadata.HiveException: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient 解决方法 ...
MyBatis Plus插入数据库表空值列报错问题，需要配置 jdbc-type-for-null 属性
hkl_Forever的博客
12-17 5836
在使用 mybatis 插入 oracle或mysql 数据库的数据列为空的时候，在Configuration类中初始化jdbcTypeForNull默认值是Other，这样就会报错。1、配置 jdbc-type-for-null 的属性值为 null，默认为 other。1、jdbc-type-for-null 的值单引号是必须的。2、log-impl：输出执行的 sql 脚本信息。
Can‘t get JDBC type for struct＜date:int,day:int,hours:int,minutes:int,month:int,seconds:int,time:big
weixin_44455388的博客
07-20 2957
使用Spark将DataFrame类型数据保存到Oracle的过程中报错: Exception in thread "main" java.lang.IllegalArgumentException: Can't get JDBC type for struct <data:int, day:int, hours:int, minutes:int, month:int, seconds:int, time:bigint, timeZoneOffset:int, year:int> Oracle
116.Hive查询NULL异常分析与解决
大勇若怯任卷舒
08-16 1365
##116.1 问题简述。
Pyspark 连接 mysql 各种问题
TR_0323的博客
02-25 497
关于 PySpark 提交集群运行 原先代码如下 import os import sys project = 'OneStopDataPlatformPY' # 工作项目根目录 path = os.getcwd().split(project)[0] + project sys.path.append(path) print(path) from pyspark.sql import Spa...
【JDBC-Hive】使用JDBC操作Hive数据库
weixin_53543905的博客
03-28 1812
在用JDBC操作Hive数据库执行写入操作时，由于要使用。ps.setString(字段名, null)ps.setString(字段名, 字段值)的方式进行数据值的设置，所以无可避免的会出现。【JDBC-Hive】使用JDBC操作Hive数据库
Hive表字段类型转换错误解决：Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask.
qq_28658621的博客
04-05 1万+
Hive表字段类型转换错误解决——FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. Unable to alter table. The following columns have types incompatible with the existing columns in their respective positions :
java dataframe 遍历,java - Spark DataFrame写入JDBC - 无法获取struct的JDBC类型 ？ - SO中文参考 - www.soinside.com...
weixin_36302331的博客
03-13 337
我是新手，并试图将数据帧写入db2表。我得到的错误是：Exception in thread "main" java.lang.IllegalArgumentException: Can't get JDBC type for struct 我的数据库架构是localId effectiveDate activityDate inDate outDate 我为我的db表创建了一个POJO类，就像这...
解决 Spark2.X 查询Hive分区表修改后的字段为null？
一个写湿的程序猿
11-02 1210
在 Spark 2.3 以后, Spark 增加参数, 设定 ORC 文件使用采用向量化 Reader, 但是会引申由于 Spark SQL 无法与 Hive SQL 采用同一 SerDe 从而对 Parquet/Hive 数据表产生处理上的不同, 因此需要限定如下参数从而让 Spark 使用 Hive 的SerDe.
User class threw exception: java.lang.IllegalArgumentException: Error while instantiating 'org.apache.spark.sql.hive.HiveExternalCatalog':
07-25
这个问题是由于在实例化'org.apache.spark.sql.hive.HiveExternalCatalog'时出现了错误导致的。可能的原因是缺少必要的依赖项或配置不正确。您可以尝试以下步骤来解决这个问题： 1. 确保您的项目中包含了所有必需的...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值