日志分析介绍和ELK的安装

本章笔者主要讲解日志分析的基本概念和EKL在Linux中的安装教程

 

================概念介绍================

    在日常工作中，我们对日志的操作极为重要，今天笔者在这里主要分享一下ELK的基本概念和安装(仅根据本人的实际操作为例，如有问题，敬请指出~)

 

    日志主要分为：系统日志、应用日志和安全日志，系统的运维和开发人员可以通过日志来了解服务器上硬件和软件的信息，检查发生错误的原因。经常分析日志可以了解服务器的负荷和安全情况，从而及时改正。

 

    通常日志都储存在不通的服务器上，那么我们有几十台，几百台的服务器怎么办呢，那我们还要依次登陆每台服务器去查看处理日志吗，显然是不可能的，那么针对这种情况就出现了日志集中的管理工具，将我们所有服务器上的日志进行收集汇总。

 

    那么我们将日志集中汇总后，日志的检索和统计也是一件麻烦的事情，当然我们可以通过Linux命令进行检索统计也可以，但是我们面对的是要求更高的查询，排序和统计的要求呢，那么我们再用Linux命令显然是力不从心的。

完整的数据日志具有如下作用:

 

1）信息查找：通过检索日志信息，定位bug，找出问题，方便解决问题。

2）服务诊断：通过对日志信息进行统计分析，了解服务器的负荷和运行情况，

3）数据分析：如果是格式化的Log，我们可以进行数据的分析、统计，聚合出一些有意的数据，比如根据请求的商品ID，找出a用户感兴趣的商品

 

那么我们本章讲解的ELK其实就是三个开源工具组成的，分别是：

   elasticsearch、kibana、logstash

   elasticsearch是一个基于Lucene的搜索服务器，它提供了一个分布式多用户能力的全文搜索引擎

   logstash是一个完全开源的工具，它可以为你提供给数据分析，过滤、检索、收集提供大量的获取数据的方 法，并将其储存以后使用

 

   kibana是一个基于浏览器页面的elasticsearch前端展示工具，也是一个开源免费的工具，kibana可以作为一

个为elaticsearch和logstash提供日志分析好的Web界面展示，可以帮助我们分析，搜索、汇总想得到的数据。

 

那么写到这里我们究竟为什么要使用ELK呢？

    我们实际的应用场景就是我们在日志文件中想要提取我们需要的内容，这些操作可以通过Linux命令完成，但是在规模比较大的场景中，这样的方法就暴漏出效率低下的缺点。

    那么面