1、背景介绍
上篇讲到实时日志的采集和分析,本篇介绍离线日志的分析,为何要做离线日志分析?业务场景的不同,系统的规模扩大后,日志量随着上升,上升到需要付出昂贵的成本才能满足分析,动辄每天几TB的日志,给索引和查询都带来很大的压力,
为尽量满足查询分析的诉求又合理控制成本,我们需要设计一套离线日志采集与分析系统,主要满足如下业务场景:
1)回溯半个月前的问题,遇到长假系统会在线上运行一周无人分析定位业务问题,而实时系统存储的数据量有限,半个月前的日志在实时系统已经查不到(过期删除),为回溯定位问题,我们可以从离线日志系统中拉取日志进行分析;
2)访问日志特征分析,例如,分析过去一个月的网站访问日志;
3)分析业务系统的全量日志,很多同学为定位问题方便习惯在线上打印很多Debug日志,Debug记录了详细的流水信息,往往日志量比较大,如果实时上传会给实时日志系统带来很大冲击,合理的做法是上传关键的Info日志,解决大部分问题定位,如需查找Debug日志进行详细的问题定位可以通过离线日志进行分析。