ELK日志分析工具实战

理论

1，什么是日志分析工具，有什么作用
elk日志分析 工具是logstash，elasticsearch，kibana开元软件集合，是对日志管理的方案，对任何来源，任何格式进行日志搜索，分析与可视化展示
2，ELK日志分析解析
2.1，logstash解析
这个组件是对体制进行手机，过滤，格式处理，格式化输出将其存储，供之后搜索。
collect：数据输入
enrich：数据加工，
transport：数据输出
shipper：日志收集者，负责监控本地日志文件的变化，以及爸日志文件的最次你内容手机
indexer：日志存储着
broker：日志hub，负责连接多个shipper和多个indexer
search and storage：循序对时间进行收缩和存储
web interface：基于web的展示界面
logstash主机分类：代理主机，作为时间的传递着，将日志数据发送到中心主机
中心主机：可运行中间转发器，索引器，搜索和存储器，web界面端在内的各个组件，实现对日志数据的接受和处理
2.2 elasticsearch解析
是java开发，提供一个分布式多功能的全文搜索引擎，设计用于云计算中，能够达到实时搜索，稳定，可靠，快速，安装使用方便。
核心概念
接近实时：索引一个文档知道这个文档能够被搜索到有一个轻微的延迟
集群：共同持有整个数据，并且一起提供索引和搜索功能，一个节点为主节点，主节点由选举产生，并且提供跨及诶单的联合搜索功能，
节点：是集群的一部分，存储数据并且参与集群的索引和搜索功能
索引：一个索引就是一个拥有积分相似特征的文档集合，比如说，客户数据的索引，产品目录的索引，订单数据的索引，索引相当于关系型数据库中的库
类型：在一个索引中，定义一个或多个类型，一个类型是索引的一个逻辑分类，，类型相当于干洗数据库中的表
文档：文档是一个可被索引的基础单元，相当于数据库中的表
分片：索引储存数据肯能出行超过单个节点的硬件限制，索引elasticsearch提供将索引分成多个分片的功能，每个跟拍就是一个全功能独立的索引，可以位于集群的任何节点多行。
2.3 kiabana解析
是一个针对elasticsearch的开源可视化平台，用来索索，查看交互存储在索引中的数据。
适应kibana，可以通过图片进行高级数据分析与展示，海量的数据更容易理解。操作简单
主要功能：elasticsearch无缝值集成，可以将结构化和给结构化的数据假日elasticsearch索引中，利用elasticsearch强大的分析功能
整合数据
复杂数据分析
让更多团队成员收益
接口灵活
配置简单
可视化多数据源
简单数据导出

elk的日志处理工呢过流程

logstash手机APPserver产生的log，ing存放在elasticsearch集群中，kibana北疆es集群汇总查询数据产生图表，再返回给不溶物而：
将日志进行集中化管理------将日志格式化并输出到elasticsearch----对格式化后的数据进行索引和存储----前段数据展示kibana

ELK部署

第一步：环境
192.168.17.10 node1 elasticsearch，kibana
192.168.17.30 node2 elasticsearch
192.168.17.20 Apache logstash，Apache

第二步在服务器上看一下Java环境
Java -version
tar zxvf jdk-8u91-linux-x64.tar.gz -C /usr/local/

export JAVA_HOME=/usr/local/jdk1.8.0_91
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/lib:$PATH

source /etc/profile
rpm -ivh elasticsearch-5.5.0.rpm
[root@node1 opt]# systemctl daemon-reload
[root@node1 opt]# systemctl enable elasticsearch.service

cp /etc/elasticsearch/elasticsearch.yml /etc/elasticsearch/elasticsearch.yml.bak

vi /etc/elasticsearch/elasticsearch.yml