提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档
Hive常见问题记录
前言
记录将数据写入hive表的过程中出现一些问题。
一、hive表插入数据出现重复数据
当使用Hive创建分区表并插入数据时,每个分区都会在文件系统中创建一个对应的目录。如果使用DROP操作删除表,会删除表的所有数据和分区目录。但是,如果只是删除了数据而不是表,分区目录并不会被删除。因此,重新执行创建和插入操作时,可能会导致数据中出现重复数据的问题。
如何解决:
1.查询分区:
SHOW PARTITIONS table_name;
2.删除分区
ALTER TABLE sales DROP PARTITION (date='2022-01-01');
3.删除表
DROP TABLE sales;