【摘要】如果一味的使用传统的ELK架构模式,随着业务规模扩大,系统日志量激增,这种架构将不足以支撑。本文介绍了日志模块常使用的技术组件,结合企业实践,分析常见日志场景下的几种技术架构选型,希望可以给大家在进行日志模块/中心建设规划时提供参考。
一、引言
在实际搭建日志中心的过程中,实施人员往往对于架构选项有很多疑惑,甚至技术栈不清楚用哪些。由于本身是日志模块,属于系统的侧面,该场景下,大部分用户对于日志数据的专业性要求并不是很多,故而会一味的使用传统的ELK(Elasticsearch+logstash+kibana)的架构模式,来构建日志模块或简易的日志中心。若只是小系统还好,场景有限,传统的ELK架构模式影响也有限,但一些系统随着规模的扩大会出现日志量激增,新增对日志数据的检索要求,此时旧有架构可能就不足以支撑当前的诉求,因此在做日志模块或日志中心搭建时,建议根据自己的实际诉求规划好整体日志模块框架。
二、日志模块常见组件介绍
1.Logstash
Logstash是一个用于数据收集、转换和传输的开源工具,属于Elastic Stack(以前称为ELK Stack&#