ELK日志分析系统

ELK日志分析系统

1. ELK日志分析系统

ELK是由Elasticsearch、Logstash、Kiban三个开源软件的组合。在实时数据检索和分析场合，三者通常是配合共用，而且又都先后归于Elastic.co
公司名下，故有此简称。

• 日志服务器：提高安全性，集中存放日志，缺陷：对日志分析困难
• ELK日志分析系统
  特点： 分布式，零配置，自动发现

1.1 作用：

1. 日志分析是运维工程师解决系统故障，发现、定位问题的主要途径。日志主要包括系统日志、应用程序日志和安全日志
2. 系统运维和开发人员可以通过日志了解服务器软硬件信息、检查配置过程中的错误及错误发生的原因。经常分析日志
3. 可以了解服务器的负荷，性能安全性，从而及时采取措施纠正错误。

1.2 ELK组件

1. Elasticsear索引型数据库 es(数据库，用于搜索引擎
2. ogstash:格式转换，获取日志，再格式转换，输出数据库
3. kibana:对接页面,可对数据图表化，汇总，分析数据日志

1.3 ELK工作原理

【APPServer集群】→→【logstash Agent 采集器】→→【ElasticSearch Cluster】→→【Kibana Server】→→【Browser】

1. Logstash收集AppServer产生的Log，并存放到ElasticSearch集群中，而Kibana则从ES集群中查询数据生成图表，
2. 再返回给Browser。简单来说，进行日志处理分析，一般需要经过以下几个步骤：
   beats包含四种工具：
   Packetbeat（搜集网络流量数据）
   Topbeat（搜集系统、进程和文件系统级别的 CPU 和内存使用情况等数据）
   Filebeat（搜集文件数据）轻量级的工具（相较于logstash）
   Winlogbeat（搜集 Windows 事件日志数据）

1.4 日志处理步骤

1. 日志集中化管理：logstash的收集
2. 将日志格式化(logstash)并输出到Elasticsearch：logstash输出，输出给es
3. 对格式化后的数据进行索引和存储（es)
4. 前端数据的展示(Kibana）

1.5 日志分析步骤：

• 将日志集中化管理
  packetbeat（收集网络流量数据
  topbeat收集系统、进程很cpu内存使用情况数据
  filebeat(收集文件系统):轻量级
  winlgbeat (收集windows事件日志数据)
• 将日志格式化(slogstash）
• 对格式化数据进行索引和存储
• 前端数据的展示

1.6Elasticsearch

elasticsearch实现实时搜索，稳定可靠，快速，安装使用方便

1.6.1 概述：

接近实时，索引到文档有轻微的延迟
集群：一个或多个节点组织在一起，共同持有整个属性，并一起提供索引和搜索功能
节点：服务器，通过集群名称加入的
索引：拥有相似特征的文档集合，索引相对于关系型数据库的库
类型：数据库