elk mysql 全文索引_利用ELK收集分析展现MYSQL相关日志-51Testing.PDF

利用ELK收集分析展现MYSQL相关日志-51Testing

利用ELK收集、分析、展现

MYSQL相关日志

——任志强

背景

1、现状

日志特点：

▲ 海量数据

▲ 分散分布

▲ 分析、汇总

背景

2、日志系统

一个完整日志系统的特点：

▲ 收集－能够采集多种来源的日志数据

▲ 传输－能够稳定的把日志数据传输到中央系统

▲ 存储－如何存储日志数据

▲ 分析－可以支持 UI 分析

▲ 警告－能够提供错误报告，监控机制

ELK介绍

1、架构

ELK介绍

2、filebeat

ELK介绍

3、logstash

ELK介绍

3、logstash

插件：

logstash-input-file

logstash-input-redis

logstash-input-beats

logstash-filter-grok

logstash-filter-date

logstash-output-file

logstash-output-mongodb

logstash-output-elasticsearch

ELK介绍

4 、elasticsearch

ElasticSearch是一个基于Lucene的搜索服务器。它丌但包括了全文搜

索功能，还可以迚行以下工作:

• 分布式实时文件存储，并将每一个字段都编入索引，使其可以被

搜索。

• 实时分析的分布式搜索引擎。

• 可以扩展到上百台服务器，处理PB级别的结构化或非结构化数据。

ELK介绍

5、kibana

Kibana 是一个为 Logstash 和 ElasticSearch 提供的日志分析的 Web

接口。可使用它对日志迚行高效的搜索、可视化、分析等各种操作。

ELK安装配置

1、安装

软件

序号 软件 版本

1 oracle jdk jdk1.7.0_80

2 filebeat filebeat-1.2.3

3 logstash logstash-2.3.4

4 elasticsearch elasticsearch-2.3.4

5 kibana kibana-4.5.3

安装

解压至相关目录即可使用。

ELK安装配置

2、mysql相应日志格式

mysql slow log

mysql error log

ELK安装配置

3、filebeat配置

slow log

filebeat:

prospectors:

-

paths:

- /home/mysql/renzq/slow.log

encoding: utf-8

fields:

ser