- 博客(3)
- 收藏
- 关注
RSS订阅原创 hive表insert数据报错input path does not exists
mapred.invalidinputException:input path does not exists hdfs://表路径/表名/表分区。hive表 insert 数据时，报错vertex failed ，vertex name =Map 1...查询不到当前分区 ，说明hive分区表元数据和hdfs文件目录不一致（也可能是分区删除），导致的读异常。这个方式可以解决问题，之后再重新insert分区就可以了。再次运行select * 依然不行。
2024-01-19 15:01:20
510
原创 hiveSQL参数调优
mapJoin的主要意思就是，当链接的两个表是一个比较小的表和一个特别大的表的时候，我们把比较小的table直接放到内存中去，然后再对比较大的表格进行map操作。join就发生在map操作的时候，每当扫描一个大的table中的数据，就要去去查看小表的数据，哪条与之相符，继而进行连接。改 hive.tez.container.size 的值之后，一定要改参数 hive.tez.java.opts，hive.tez.java.opts设置JVM 启动参数，最重要的是 -Xmx 设置JVM 最大堆内存。
2023-11-08 19:10:34
293
原创 hive tez显示concurrency mode is disabled 怎么解决
今天遇到了一个问题：hive on tez 模式下，运行SQL显示并行模式已被禁用，我写了参数。set hive.exec.parallel=true，运行后依然显示并行模式已被禁用。——数据可能是太大了，可以抽取部分数据，limit 10；
2023-05-30 15:50:07
332
2
空空如也
hiveSQL如何查看跑了100天的分区表的全量数据
2023-06-18
TA创建的收藏夹 TA关注的收藏夹
TA关注的人