在 Doris 中有如下三个阶段发生:
- 每一批次数据导入的 ETL 阶段。该阶段会在每一批次导入的数据内部进行聚合。
- 底层 BE 进行数据 Compaction 的阶段。该阶段,BE 会对已导入的不同批次的数据进行进一步的聚合。
- 数据查询阶段。在数据查询时,对于查询涉及到的数据,会进行对应的聚合。
数据在不同时间,可能聚合的程度不一致。
比如一批数据刚导入时,可能还未与之前已存在的数据进行聚合。
但是对于用户而言,用户只能查询到聚合后的数据。
即不同的聚合程度对于用户查询而言是透明的。
用户需始终认为数据以最终的完成的聚合程度存在,而不应假设某些聚合还未发生。