Doris索引:用于快速过滤或查找数据
Doris支持的两类索引:
- 内建的智能索引,包括前缀索引和ZoneMap索引
- 用户创建的二级索引,包括Bloom Filter索引和Bitmap倒排索引
前缀索引:
在排序的基础上,实现一种根据给定前缀列,快速查询数据的索引方式,Doris会将一行数据的前36个字节作为这行数据的前缀索引,那么在判断索引时,会从该行数据的第一个字段开始向后累加字段所占的字节数,直到36,但是遇到varchar类型前缀索引会直接截断
前缀索引匹配规则:
- 在查询时,前缀索引的列上的条件需要是等于(=)、小于(<)、大于(>)、小于等于(<=)、大于等于(>=)、in或between等,并且这些条件是并列的,使用and连接。对于or、!=等条件,前缀索引无法命中。
- Doris会取查询中where以及on条件,从前缀索引的第一列开始匹配。它会检查这些条件中是否有与前缀索引的列相匹配,如果有,则累计匹配的长度,直到匹配不上或者达到36个字节(如果是VARCHAR类型的列,则是20个字节)为止。
Rollup调整前缀索引
因为建表时已经指定了列顺序,所以一个表只有一种前缀索引。这对于使用其他不能命中前缀索引的列作为条件进行的查询来说,效率上可能无法满足需求。因此,我们可以通过创建ROLLUP来人为的调整列顺序。
Base表结构如图所示,如果我们在查询过程中常用age,message而非user_id,这时就可以在此基础上创建ROLLUP表,将查询时常用字段放在前面,这样以来不仅可以命中ROLLUP表还可以命中前缀索引,效率提高