数据仓库及应用——Hive 索引概念与常用操作

Hive 索引是一种特殊的数据结构，它可以加快查询的执行速度，特别是在对大型数据集进行查询时。索引存储了表中特定列的值和对应行的物理存储位置的映射，这样可以在查询时快速定位到满足条件的数据行，而不需要全表扫描。

创建索引

使用 CREATE INDEX 语句可以创建一个索引。例如，为 employee 表的 age 列创建一个索引：

CREATE INDEX employee_age_index
ON TABLE employee (age)
AS 'org.apache.hadoop.hive.ql.index.compact.CompactIndexHandler'
WITH DEFERRED REBUILD;

这里使用了 WITH DEFERRED REBUILD 选项，表示创建索引但不立即构建索引数据，可以在需要时再手动构建。

重建索引

创建索引后，需要重建索引以填充索引数据：

ALTER INDEX employee_age_index ON employee REBUILD;

显示索引

使用 SHOW INDEX 语句可以显示表的索引信息：

SHOW INDEX ON employee;

删除索引

使用 DROP INDEX 语句可以删除一个索引：

DROP INDEX IF EXISTS employee_age_index ON employee;

索引的优缺点

优点:

• 提高查询性能，减少全表扫描。
• 可以对大表进行高效的数据检索。

缺点:

• 索引会占用额外的存储空间。
• 写入操作会变慢，因为需要更新索引。
• 索引维护需要额外的开销，特别是在数据频繁变动的场景下。

注意事项

• Hive 索引目前只支持等值查询（=, IN），不支持范围查询（>、<、>=、<=）。
• 索引的使用需要权衡查询性能和存储、维护成本。
• 在创建索引之前，应该对查询模式和数据分布有深入的了解，以便合理地选择索引列。