spark 不常见的问题_000301Hive常见问题汇总

每日一句所以，要好好努力然后多挣钱，才养得起自己这个爱吃的胃，爱玩儿的心，爱逛爱买的习惯。一个人往，一个人来，也能生活得很好。by 德卡先生

version	Desc
2020-09-07	Hive日常使用遇到的问题

0 1

修改Hive存储格式

alter table ods.t_device set FILEFORMAT parquet;

02

hive select count(1) 查询有数据,select * from 无数据

•   原因一:表定义的location和hdfs存储路径不一致;另hive on tez 会出现路径不一致问题，改用hive on mr 或hive on spark即可解决,该问题为hive bug

• 原因二:表结构未压缩,数据是压缩格式

set mapred.output.compress=true;set hive.exec.compress.output=true;set mapred.output.compression.codec=com.hadoop.compression.lzo.LzopCodec;

03

hive on tez  avoid creating subdirectories

• 现象:tez 引擎下执行insert union 操作,然后在mr引擎下执行sel