HIVE 索引

• 机制和原理

  • 目的是提高Hive表指定列的查询速度

  • 没有索引的时候，Hive在执行查询时需要加载整个表或者整个分区，然后处理所有的数据，但当在指定列上存在索引，再通过指定列查询时，那么只会加载和处理部分文件

  • 同传统关系型数据库一样，增加索引在提升查询速度的同时，会额外消耗资源去创建索引和需要更多的磁盘空间存储索引

  • Hive的索引其实是一张索引表（Hive的物理表），在表里面存储索引列的值，该值对应的HDFS的文件路径，该值在数据文件中的偏移量

  • 当Hive通过索引列执行查询时，首先通过一个MR Job去查询索引表，根据索引列的过滤条件，查询出该索引列值对应的HDFS文件目录及偏移量，并且把这些数据输出到HDFS的一个文件中，然后再根据这个文件中去筛选原文件，作为查询Job的输入

• 优点

  • 可以避免全表扫描和资源浪费

  • 可以加快含有group by的语句的查询速度

• 缺点

  • 使用过程繁琐

  • 需用额外Job扫描索引表

  • 不会自动刷新，如果表有数据变动，索引表需要手动刷新

转载于:https://www.cnblogs.com/xiangyuguan/p/11403824.html