轻松解决数据索引延迟问题

什么是数据索引延迟

数据从生成到最终在炎凰数据平台里完成索引的时间差即为数据索引延迟。

当你发现产生的数据不能及时在炎凰数据平台中搜索出来时，则可能是因为数据索引延迟。
 

什么情况下会出现数据索引延迟

● 数据产生的速度大于数据发送的速度，比如使用的第三方数据采集器发送数据的速度小于数据产生的速度，导致数据没有及时发送到炎凰数据平台而产生数据索引延迟

● 数据产生的速度大于炎凰数据平台索引的速度，比如某一时间段突然产生了大量的数据，炎凰数据平台的导入性能不足以支撑，数据没有及时消费则会导致数据延迟 

●炎凰数据平台服务宕机，当出现服务宕机到重新恢复的这段时间里，数据索引会出现延迟

●网络延迟

●发送的数据不是实时产生的数据，比如历史日志存档

●时间戳解析错误，比如数据中的时间戳没有被正确解析

如何判断是否有数据索引延迟

每条数据导入到炎凰数据平台后会自带_time和_ingestion_time两个字段

●_time: 从数据中解析出来的时间，大部分情况下为数据产生的时间戳

●_ingestion_time: 数据在炎凰数据平台中建立索引的时间戳

数据真实索引的时间（_ingestion_time）减去数据产生的时间（_time），此时间差即为索引延迟时间

使用如下查询即可查看某数据集中数据索引延迟的时间

如何减少数据索引延迟

●排除网络造成的影响，使用更快的网络设备
●确保_time被正确提取
●对数据采集器进行性能调优，确保数据采集器发送数据的速度足够快
●对炎凰数据平台进行性能调优以达到更快的索引速度
●使用更高配置的主机以达到更快的索引速度