记录SparkSql向hive的动态分区表插入数据失败的bug问题

已于 2022-11-01 16:36:13 修改
阅读量1.5k 收藏
点赞数
分类专栏： 大数据 # Hive总结 文章标签： hive bug 大数据
于 2022-11-01 16:34:23 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_46168848/article/details/127636091
版权
本文记录了在使用SparkSQL向Hive表插入数据时遇到的动态分区问题及解决方案。当试图通过子查询的方式向分区表插入数据时，会因默认的strict模式而报错。文中详细解释了解决此问题的方法：通过设置hive.exec.dynamic.partition为true，并将hive.exec.dynamic.partition.mode设置为nostrict。
摘要由CSDN通过智能技术生成

记录SparkSql向hive表中插入数据失败的bug问题

报错信息

  • 报错如下：
    Exception in thread “main” org.apache.spark.Sparkexception：Dynamic partition strict mode requires at least one static partition column;

报错的原因

在hive表中通过子查询插入数据到分区表时报的错误。
因为要做动态分区, 所以要先设定partition参数，由于default是false, 需要额外下指令打开这个开关。
default是strick, 表示不允许动态分区, 所以要改成nostrick。

解决方法：

  • set hive.exec.dynamic.partition=true;
  • set hive.exec.dynamic.partition.mode=nostrick;
    如果是租户环境无法修改配置，可以将这两个设置语句加到 hive SQL的前两行，然后无论是hive -f执行该SQL文件，或者是使用Spark去执行hive SQL都不会影响，可以完美的解决！！
Spark创建Hive表
SunnyRivers
06-20 2033
实习生带着一脸坚毅的神情，斩钉截铁的告诉我：我：你怎么创建的？实习生：就下面一个简单的sql语句啊id int,""")我：你需要对Spark和Hive的基础知识进行巩固。
【硬刚大数据之面试篇】2021年从零到大数据专家面试篇之Hive篇
微信搜：import_bigdata，大数据领域硬核原创作者
08-12 1587
欢迎关注博客主页：https://blog.csdn.net/u013411339 欢迎点赞、收藏、留言 ，欢迎留言交流！本文由【王知无】原创，首发于 CSDN博客！本文首发CSDN论坛，未经过官方和本人允许，严禁转载！ 本文是对《【硬刚大数据之学习路线篇】2021年从零到大数据专家的学习指南(全面升级版)》的面试部分补充。 硬刚大数据系列文章链接： 2021年从零到大数据专家的学习指南(全面升级版) 2021年从零到大数据专家面试篇之Hadoop/HDFS/Yarn篇 2.
Spark操作Hive分区表
xiaoxiaohacker的专栏
05-23 2640
原作者写的比较清楚了，特别是DDL建了表后，又用Spark向表里写数据常常写不进去，会报异常。 原文地址：https://dongkelun.com/2018/12/04/sparkHivePatition/ 前言 前面学习总结了Hive分区表，现在学习总结一下Spark如何操作Hive分区表，包括利用Spark DataFrame创建Hive的分区表和Spark向已经存在Hive分区表里插...
hive on spark向数据库中插入数据的时候报错
weixin_44063328的博客
05-05 2601
问题描述 搭建了hive on spark集群，并且已有数据库，向数据库中插入数据的时候报错。 create table student(id int, name string); insert into table student values(1002,‘lisi’); hive> insert into student values(1002,'lisi'); Query ID = atguigu_20220505185820_0f520b40-7a94-4485-b5d1-3d85ec50ad
SparkException: Dynamic partition strict mode requires at least one static partition column
最新发布
NBA首席形象大使坤坤
03-18 2730
创建表后却无法写入数据？ 报错内容：== Exception in thread “main” org.apache.spark.SparkException: Dynamic partition strict mode requires at least one static partition column. To turn this off set hive.exec.dynamic.partition.mode=nonstrict at org.apache.spark.sql.hive.exec
使用DataGrip执行Hive on Spark插入数据任务失败解决方案
dxy
03-12 1681
使用DataGrip执行Hive on Spark插入数据任务失败解决方案报错1 报错1 org.apache.hadoop.hive.ql.parse.SemanticException:Failed to get a spark sess 解决方案： 1.去你的hive配置文件下找到hive-env.sh文件 2.调大参数 默认为256M，调大内存为2G，这样发在跑HIve on Spark 任务就可以成功，时间缩短。 ...
Spark添加数据至Hive分区表
chilai4545的博客
08-15 1426
准备工作： 创建hive分区表 create table login_origin( created_date string, event_id string, dev_mac string, domain string, session_id string, dev_na...
hive on spark hql 插入数据报错 Failed to create Spark client for Spark session Error code 30041
想练武，就得下功夫
07-29 7827
Failed to execute spark task, with exception 'org.apache.hadoop.hive.ql.metadata.HiveException(Failed to create Spark client for Spark session 50cec71c-2636-4d99-8de2-a580ae3f1c58)' FAILED: Execution Error, return code 30041 from org.apache.hadoop.hive.ql.
hive分区表增加字段会导致新增字段为NULL
小丑鱼1127的博客
04-18 1582
hive分区表增加字段会导致新增字段无法显示值的BUG 问题： 创建了hive表： create table default.temp (id int,name string) partitioned by (logdate string); 插入数据： insert into table default.temp partition (logdate='2019-03-01') v...
2020.9.27(hive参数设置、运行方式、动态分区、分桶)
超可爱慕之
09-27 1052
除了第一节课讲概念理论之外，后面的操作都是比较细的点，因为hive的技术点没办法，到公司使用的时候也是一些非常琐碎的点，各个点之间没有太多的关联性。这10分钟可能讲这个知识点，下10分钟可能另外一个技术点了，一点关联都没有，是没办法的。hive里更多的是基本操作的问题。要有复习总结的过程。 第一个知识点：hive参数操作和运行方式 hive的参数操作： hive应该如何设置对应的参数？之前搭建集群的时候，在hive-site.xml里面进行过基本的参数修改，但在企业里面可能不全是往hive-site.xml
Hive 优化--SQL执行顺序、Hive参数、数据倾斜 、小文件优化
.
03-09 2714
代码写的顺序： select ... from .a join b. on .. where.... group by... having... order by.. msyql语句执行顺序 ： from. join. on . where...group by... having.... select ... order by... hive 语句执行顺序 大致顺序 from...
Hive on spark FAILED: Execution Error, return code 30041 from org.apache.hadoop.hive.ql.exec.spark
qq_45808446的博客
09-21 2098
最近跟着尚硅谷在做项目，做到Hive on spark时卡住了，在执行count(*)和插入语句时出现如上错误。这里我的hive是可以用的，spark也是可以用的，但将Hive的引擎改为spark 就不可以用了。所以在这里记录一下怎么解决以及思路。
使用spark往hive插数报错Dynamic partition strict mode requires at least one static partition column. To tur
孙琨SealSun
09-20 4493
#报错 User class threw exception: org.apache.spark.SparkException: Dynamic partition strict mode requires at least one static partition column. To turn this off set hive.exec.dynamic.partition.mode=nons...
SparkException——Dynamic partition strict mode 问题解决
枫夜
08-31 5264
问题场景 在spark-shell控制台，运行testDF.write.mode("append").partitionBy("dt").saveAsTable("t_pgw_base_statistics_final_dy_test");，提示org.apache.spark.SparkException: Dynamic partition strict mode requires at l...
Hive:BUG记录，错误使用动态分区导致的插入失败
ZJH
11-19 2023
在Hive中，插入数据时可以指定动态分区，如果，，就可以不需要指定hive变量。
执行sparksql时报错，显示查询不到表分区下的子分区
weixin_42320809的博客
08-23 576
报错如图 解决办法： 添加开启文件递归查询的参数 set hive.mapred.supports.subdirectories=true; set mapreduce.input.fileinputformat.input.dir.recursive=true;
Hive3.1.2 on Spark 3.0.0报错
qq_53663722的博客
09-13 377
解决：在/opt/software/hadoop/hadoop-3.1.3/etc/hadoop目录下创建resource-types.xml文件。1、到spark的/opt/software/spark/spark-3.0.0/conf目录下修改配置文件。在/opt/software/spark/spark-3.0.0/sbin路径下启动spark。hive on spark环境下在hive中创建表成功，但是执行插入数据语句报错。3、在hive/conf/hive-site.xml中增加。
Spark将大量分区写入HDFS报错
就问你吃不吃药
12-01 1716
对大量的数据进行一系列的数据处理后DataFrame此时有2W个分区（170W条数据，因此每个分区数量只有几百条），此时使用parquet命令，将会往一个hdfs文件中同时写入了大量的碎文件。 提示（省略无用信息）：WARN TaskSetManager: Lost task: org.apache.spark.SparkException: Task failed while writing r
Spark写入Hive分区表的完整指南
HackWhisper的博客
09-14 914
在Spark中，将数据写入Hive分区表是一个常见的任务。本文将为您提供关于如何使用Spark将数据保存为Hive表并插入到分区的详细指南。通过以上步骤，您可以使用Spark将数据保存或插入到Hive分区表中。上述代码创建了一个SparkSession实例，配置了Hive的仓库目录，并启用了Hive支持。在上述示例中，我们首先创建了一个包含要保存的数据的DataFrame。在上述示例中，我们创建了一个包含要插入的数据的DataFrame，并使用。插入操作会根据数据的分区列将数据放入正确的分区。
hive向空分区表插入数据
10-20
在Hive中向空分区表插入数据需要先进行分区修复，否则无法查询到结果。分区修复可以使用以下命令进行： ``` MSCK REPAIR TABLE table_name; ``` 其中，table_name为需要修复分区的表名。修复分区后，可以使用以下...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值