ELK日志分析平台1——elasticsearch

传送门

一、前言

• 日志主要包括系统日志和应用程序日志，运维和开发人员可以通过日志了解服务器中软硬件的信息，检查应用程序或系统的故障，了解故障出现的原因，以便解决问题。分析日志可以更清楚的了解服务器的状态和系统安全状况，从而可以维护服务器稳定运行。

• 但是日志通常都是存储在各自的服务器中。如果管理数十台服务器， 查阅日志需要依次登陆不同的服务器，查看过程就会很繁琐从而导致工作效率低下。虽然可以使用 rsyslog 服务将日志汇总。但是统计一些日志中的数据或者检索也是很麻烦的，一般使用grep、awk、wc、sort等Linux命令来统计和检索。如果对数量巨大的日志进行统计检索，人工的效率还是十分低下。

ELK作用

• 通过我们对日志进行收集、汇总到一起，完整的日志数据具有非常重要的作用：
  信息查找。通过检索日志信息，查找相应的报错，可以快速的解决BUG。
  数据分析。如果是截断整理格式化后的日志信息，可以进一步对日志进行数据分析和统计，可以选出头条，热点，或者爆款。
  维护。对日志信息分析可以了解服务器的负荷和运行状态。可以针对性的对服务器进行优化。

二、ELK简介

• ELK实时日志收集分析系统可以完美的解决以上问题。ELK作为一款开源软件可以免费使用，也有强大的团队和社区对它实时更新
• ELK是三个开源软件的缩写，分别表示：Elasticsearch , Logstash, Kibana , 它们都是开源软件。新增了一个FileBeat，它是一个轻量级的日志收集处理工具(Agent)，Filebeat占用资源少，适合于在各个服务器上搜集日志后传输给Logstash，官方也推荐此工具。
  Elasticsearch是个开源分布式搜索引擎，提供搜集、分析、存储数据三大功能。它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制，restful风格接口，多数据源，自动搜索负载等。在elasticsearch中，所有节点的数据是均等的。
  Logstash主要是用来日志的搜集、分析、过滤日志的工具，支持大量的数据获取方式。一般工作方式为c/s架构，client端安装在需要收集日志的主机上，server端负责将收到的各节点日志进行过滤、修改等操作在一并发往elasticsearch上去。
  Kibana 也是一个开源和免费的工具，Kibana可以为 Logstash 和 ElasticSearch 提供的日志分析友好的 Web 界面，可以帮助汇总、分析和搜索重要数据日志。

三、Elasticsearch

Elasticsearch简介

• elasticsearch 是一个开源的分布式搜索分析引擎，建立在一个全文搜索引擎库 Apache Lucene基础之上。
• Elasticsearch 不仅仅是 Lucene，并且也不仅仅只是一个全文搜索引擎：
  一个分布式的实时文档存储，每个字段 可以被索引与搜索
  一个分布式实时分析搜索引擎
  能胜任上百个服务节点的扩展，并支持 PB 级别的结构化或者非结构化数据
• 基础模块