我们的需求是存储全国上万多家电厂的海量日志,所以一开始我们调研elasticsearch在海量日志收集、处理、存储、分析方面有着独一无二的优势,比如部署简单、架构简单又是分布式、可以水平伸缩扩展。所以我们毫不犹豫选择了elk来搭建我们的海量日志架构。接下怎么做就相对简单了,我就分享一下我们在搭建ELK集群的实践经验。
- 安装镜像准备
elasticsearch的安装包有tar包、rpm包,就开箱即用原则、tar包的二次手动配置工作较多,有一定的门槛,rpm包相对简单,但是我们选择了另外一种方式,开源入侵检测系统SELKS系统,SELKS以及集成elasticsearch、kibana、logstash,可以这样说装个系统,顺便就把elk安装了,极大简化了工作量,类似于docker镜像,可以实现块扩展部署。
- 物理机配置
elastic官网上提到,es可以运行在廉价的普通物理机上,我们决定试一试,正好生产上有一批退下来的组装服务器,我们把内存扩展到64GB,磁盘使用机械硬盘,这里有个点,就是我们没有做raid5阵列,而是raid0,这是因为es的副本机制和故障转移能够很好的解决磁盘引起的故障问题,后续会讲到运维中我们是如何碰到这种问题并解决的,总之如果你对es足够了解,甚至都不用做raid0,只需将磁盘直接挂在到es的多个数据存储路径下的,但是当时我们没有足够的时间去尝试验证(技术不