滴滴Logi日志服务五大PASS套件开源时间表

 滴滴Logi日志服务套件

伴随着企业数字化转型、业务全面上云的进程，以及微服务、容器化等技术的快速发展，业务对稳定、易用的日志基础设施提出了三大迫切需求：

 

• 服务保障的需要：全链路追踪是稳定性保障的重要抓手；

 

• 业务运营的需要：A/B TEST、活动运营分析、端上用户行为分析、精准营销，对百MB/S日志的秒级收容能力，TB级日志的秒级搜索能力强烈诉求；

 

• 业务安全的需要：识别攻击源进行资产止损，安全审计与溯源，TB级别日志Adhoc分析能力。

 

滴滴Logi日志服务套件在滴滴内部经过7年多的沉淀打磨，针对日志采集、日志存储、日志计算、日志检索、日志分析各个环节，在组件能力上PAAS化建设、在引擎稳定性与扩展性上进行针对性的优化，架构如下：

 

 

此架构具有如下优势：

 

• 开源自主可控：Logi-Agent、Logi-LogX、Logi-KafkaManager、

  Logi-ElasticSearchManager 各PAAS套件计划全开源；

 

• 引擎稳定可靠：Agent 40MB/S的单任务采集性能，可控资源的隔离能力；LogX采集任务的实时ETL秒级延迟、计算性能的极致优化；滴滴kafka百GB/S的实时流量；滴滴ElasticSearch数十PB的索引存储集群稳定性99.95%；

 

• 服务运营沉淀：数十万日志服务任务端到端全链路保障日志数据的及时性、完整性、可观察性、运维友好性；资源的弹性调度与分级保障能力的产品化沉淀；

 

• 平台专业易用：分钟级完成日志全链路的端到端自助接入；SQL