ELK日志分析系统

技能展示:
了解ELK日志分析系统
会安装和配置Elasticsearch群集
会安装和配置Logstash进行日志收集
会安装和配置Kibana进行日志查看
简介
在大型运维环境中，管理员通常面对大量的服务器，对于这些服务器的维护，一个很重要的工作就是查看每台服务器的日志信息，而每天逐台检查的方式显然效率比较低下。传统的方式是通过搭建日志服务器，将所有服务器的日志收集到日志服务器统一查看。但是面对众多的8志数据很难去分析以及查找所需要的内容，即很难快速定位是否出现故障，以及哪些机器哪些服务存在故障。而ELK可以很好地解决这一问题。
日志分析是运维工程师解决系统故障、发现问题的主要手段。 日志包含多种类型，包括程序日志、系统日志以及安全日志等。通过对日志的分析，既可以未雨绸缪，预防故障的发生，又可以在故障发生时，寻找蛛丝马迹，快速定位故障点。管理员也可以通过日志了解服务器的软件信息、硬件信息、服务器负荷以及安全性相关的信息，如服务器是否被攻击、磁盘空间是否即将耗尽、内存是否严重不足等。通过这些分析，管理员可以及时采取措施。通常情况下，每台服务器或者客户端都产生日志，相对而言，服务器日志更加重要，因为它存放着企业的重要数据，同时作为服务提供者，一旦出现问题，将影响所有客户端的使用。一些大型的机房或者数据中心一般不会给服务器配置显示设备，而逐台远程登录设备查看日志，需要每次系统认证成功后执行，且效率低下。普遍的做法是日志的集中管理，既将所有服务器的日志集中发送到日志服务器中，如开源的Syslog。 好处是可以集中查看所有服务器日志，减轻了工作量,从安全性的角度来看,这种集中日志管理可以有效查询以及跟踪服务器被攻击的行为，因为黑客入侵的一-瞬间，一些安全日志已经被发送到了日志服务器。正如银行的监控系统，窃贼- -旦发现监控设备，即使立即破坏这些设备也于事无补，因为监控画面早已经发送至监控服务器中。采用集中化管理日志，也存在一些不足， 如针对日志的分析以及查找将变得非常困难，对日志的逐条检查虽然可以获取到有价值的信息,但是工作量十分庞大，像Apache每天可能产生.上万条日志，Linux 虽然也提供了文字编辑类的工具命令(如grep. awk. wc等)可以快速查找问题，这些工具可以快速定位已知关键字的日志内容，却无法快速定位