HIve 建表, 导入HDFS路径文件; 遇到问题及解决策略

最新推荐文章于 2023-04-02 17:47:43 发布

huntblack

最新推荐文章于 2023-04-02 17:47:43 发布

阅读量3.4k

点赞数

分类专栏： hadoop HDFS HIVE

本文链接：https://blog.csdn.net/huntblack/article/details/84860979

版权

本文介绍了在Hive中处理HDFS路径下的分区数据时遇到的问题，包括两种建表方法：一种是建表时直接包含分区，另一种是不插入时间分区。同时，强调了时间选择的重要性以及处理lzo压缩格式数据的建表注意事项。此外，还提到了Hive建表不能覆盖原有表结构或路径的问题，即使重新建表，查询结果仍会指向原表记录。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

现有hdfs路径hadoop fs -du -h /user/portal/ODM/push/pushcatch_data_collect/

路径下有每天分区
284.2 K /user/portal/ODM/push/pushcatch_data_collect/2018-12-18
158.8 K /user/portal/ODM/push/pushcatch_data_collect/2018-12-19

现有两种建表方法,
1.建表语句中包含分区(通常是时间分区), 建表完成后, 需手动插入对应的分区;

alter table tmp.test1 add if not exists partition (day = 20181201) location ‘/user/portal/ODM/push/pushcatch_data_collect/2018-12-18’;