- 博客(3)
- 收藏
- 关注
原创 hive表insert数据报错input path does not exists
mapred.invalidinputException:input path does not exists hdfs://表路径/表名/表分区。hive表 insert 数据时,报错vertex failed ,vertex name =Map 1...查询不到当前分区 ,说明hive分区表元数据和hdfs文件目录不一致(也可能是分区删除),导致的读异常。这个方式可以解决问题,之后再重新insert分区就可以了。再次运行select * 依然不行。
2024-01-19 15:01:20 685
原创 hiveSQL参数调优
mapJoin的主要意思就是,当链接的两个表是一个比较小的表和一个特别大的表的时候,我们把比较小的table直接放到内存中去,然后再对比较大的表格进行map操作。join就发生在map操作的时候,每当扫描一个大的table中的数据,就要去去查看小表的数据,哪条与之相符,继而进行连接。改 hive.tez.container.size 的值之后,一定要改参数 hive.tez.java.opts,hive.tez.java.opts设置JVM 启动参数,最重要的是 -Xmx 设置JVM 最大堆内存。
2023-11-08 19:10:34 359
原创 hive tez显示concurrency mode is disabled 怎么解决
今天遇到了一个问题:hive on tez 模式下,运行SQL显示并行模式已被禁用,我写了参数。set hive.exec.parallel=true,运行后依然显示并行模式已被禁用。——数据可能是太大了,可以抽取部分数据,limit 10;
2023-05-30 15:50:07 411 2
空空如也
hiveSQL如何查看跑了100天的分区表的全量数据
2023-06-18
TA创建的收藏夹 TA关注的收藏夹
TA关注的人