创建hive动态分区表的报错原因分析

麦克不卖课

已于 2023-06-22 08:06:58 修改

阅读量610

点赞数

文章标签： hive hadoop hdfs 大数据

于 2023-06-21 23:50:36 首次发布

本文链接：https://blog.csdn.net/Michael492/article/details/131335243

版权

【代码】创建hive动态分区表的报错原因分析。

摘要由CSDN通过智能技术生成

问题背景

跟着网课学习hive，当前遇到创建hive动态分区表失败的错误信息，困扰了一阵子，报错信息如下
在这里插入图片描述

原因分析

本地准备数据文件分区字段的值给了中文，导致MR程序运行以后无法实现动态分区，
将文件中分区字段的值修改成了英文即可解决以上报错

附上错误数据文件

改成正确数据文件

完整操作路径

1.操作hive，先指定某个库，再创建某张表
2.将准备好的本地文件上传到服务器某个目录下
2.使用hadoop fs -put命令将数据文件推送到hdfs指定的路径下
4.查询这张表的数据，检查映射是否正确

最终展示查询结果

1.hdfs查询分区信息

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

麦克不卖课

关注关注

0
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
创建hive动态分区表的报错原因分析

【代码】创建hive动态分区表的报错原因分析。
复制链接

扫一扫

hive动态分区shell_遇到的情况--hive---动态创建分区报错dynamic.partitions.pernode. Maximum was set to: 100...

weixin_39716921的博客

12-19

611

遇到的情况我们在hive shell中使用insert overwrite table table_p partition(time) select id,time from table_info;进行动态分区写入数据，然后在reduce的时候报错hive.exec.max.dynamic.partitions.pernode. Maximum was set to: 100Caused by: ...

hive 动态分区(Dynamic Partition)异常处理 [Error 20004]

iilegend的博客

05-12

1260

在hive中创建动态分区，将数据导入的过程中，出现的问题：数据导入失败 FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask 这个问题主要原因就是动态分区的数量没有达到要求，应该分区的数量设置多一些 Your Hive job tried to create ...

参与评论您还未登录，请先登录后发表或查看评论

Hive:BUG记录，错误使用动态分区导致的插入失败

ZJH

11-19

1796

在Hive中，插入数据时可以指定动态分区，如果，，就可以不需要指定hive变量。

Hive创建分区表时提示错误(1)

最新发布

2401_83977689的博客

05-23

737

由于篇幅限制，小编在此截出几张知识讲解的图解[外链图片转存中…(img-79LCswPj-1716442624452)]

hive动态分区报错

weixin_45738893的博客

03-11

1081

HIVE动态分区，由于动态分区个数过多，map端内存溢出，报错。 containerID=container_e86_1608865192015_2953765_01_000002] is running beyond physical memory limits. Current usage: 3.0 GB of 3 GB physical memory used; 5.1 GB of 6.3 GB virtual memory used. Killing container. Dump of the p

Hive 动态分区插入数据报错

小陈陈陈陈.的博客

03-23

1252

Hive动态分区插入报错。Maximum was set to 100 partitions per node, number of dynamic partitions on this node: 101

Hive 分区表插入数据时报错：Failed with exception MetaException(message:For direct MetaStore DB connections

SilenceKiio的博客

04-23

1454

Loading data to table db_hive.dept_partition partition (month=202104) Failed with exception MetaException(message:For direct MetaStore DB connections, we don't support retries at the client level.) FAILED: Execution Error, return code 1 from org.apache.h..

Hive的分区表

01-20

Hive分区表 Hive分区表对应的是HDFS上独立的文件夹，该文件夹存放的是该分区的所有数据，其实分区就是分目录。Hive通过分区把一个大的数据集根据业务需要分割成小的数据集，在查询时能够通过where关键词选择指定分区...

Hive分区表

01-07

一：简介分区表就是根据指定字段的值进行分类、分组，字段值相同的分为一类然后存储在一个单独的HDFS文件中，多个类就存储在多个文件中。原本存储在一个文件中的数据现在存储在多个文件中，查询...动态分区：创建表

hive on tez 常见报错问题收集

01-26

以上就是针对Hive on Tez常见报错的分析及解决方案。在实际操作中，应根据具体环境和需求调整相关配置，确保Hive作业的稳定性和效率。同时，对于复杂的查询场景，理解Hive和Tez的工作原理以及它们之间的交互至关重要...

Hive表分区

09-21

Hive表分区，里面有比较详细的Hive表分区方法，希望能够有所帮助。

修改hive表分区名称

02-17

### 修改Hive表分区名称的方法在大数据处理领域中，Apache Hive是一款广泛使用的数据仓库工具，它能够将结构化的数据文件映射为一张数据库表，并提供类SQL查询功能，使得用户能够通过简单的SQL语句来处理存储在...

Hive建立表并加载分区后，查询数据报错的问题

qq_43193797的博客

08-14

1507

如图，hive报以下错误 Error: java.io.IOException: org.apache.hadoop.hive.ql.metadata.HiveException: java.lang.UnsupportedOperationException: Cannot inspect org.apache.hadoop.io.LongWritable (state=,code=0) ...

Hive动态分区太多也会有问题

分布式应用与服务器架构专栏

12-10

4376

最近在测试动态分区时，猜测可能是动态分区的数太多，导致一个SQL始终报错： aused by: org.apache.hadoop.hive.ql.metadata.HiveException: java.io.IOException: Bad connect ack with firstBadLink as 192.168.2.24:50010 at org.apache.hadoop.h

Hive导入数据到分区中，报错及解决方法，Failed with exception MetaException(message:For direct MetaStore DB connections

RUIMENG061511332的博客

03-11

5265

使用hive导入数据到分区中报错如下： Failed with exception MetaException(message:For direct MetaStore DB connections, we don't support retries at the client level.) org.apache.hadoop.hive.ql.metadata.HiveException: M...

关于hive动态分区太多的问题解决方案

qq_47947471的博客

09-22

2784

今天在hive插入分区表的时候出现以下报错 hive> insert into table ods_PoliceKill_partition partition (city) select id,name,date,manner_of_death,armed,age,gender,race,state,signs_of_mental_illness,threat_level,flee,body_camera,city from ods_PoliceKill; 报错如下: java.lang.

Hive创建分区表时提示错误

终码一生

09-18

1417

Hive Session ID = c62308d5-0e71-4952-bacc-e1ce83f13005 Logging initialized using configuration in file:/etc/ecm/hive-conf-3.1.1-1.1.6/hive-log4j2.properties Async: true Hive Session ID = a5683071-8eb9-4583-b7d9-a438ab176a86 NoViableAltException(149@[]) .

hive建表时出错

qq_52915303的博客

09-14

309

原因是 hive的配置文件里/opt/installs/hive/iotmp/${Hive.session.id}_resources 这个值出错。解决方法修改hive的配置文件hive安装目录下的conf文件夹下的hive-site.xml文件。hive/conf/hive-site.xml 大约在148行。应该是特殊字符引起的错误。

Hive动态分区报错

Obscurede的博客

01-25

659

Hive动态分区报错的解决方案

hive 创建分区表

08-31

综上所述，Hive可以通过静态分区或动态分区的方式来创建分区表，并根据需求选择合适的方法来管理分区数据。123 #### 引用[.reference_title] - *...