使用ELK分析Mysql慢查询日志

目录

1.ELK介绍

2.ELK安装及问题解决

3.架构

4.Mysql慢查询配置

5.具体分析

6.参考资料

---

1.ELK介绍

1）Elasticsearch
Elasticsearch 是基于 JSON 的分布式搜索和分析引擎，专为实现水平扩展、高可靠性和管理便捷性而设计。
Elasticsearch 是一个分布式的 RESTful 风格的搜索和数据分析引擎，能够解决不断涌现出的各种用例。作为Elastic Stack 的核心，它集中存储您的数据，帮助您发现意料之中以及意料之外的情况。
2）Logstash
Logstash 是动态数据收集管道，拥有可扩展的插件生态系统，能够与 Elasticsearch 产生强大的协同作用。
Logstash 是开源的服务器端数据处理管道，能够同时从多个来源采集数据，转换数据，然后将数据发送到您最喜欢的“存储库” 中。
3）Kibana
Kibana 能够以图表的形式呈现数据，并且具有可扩展的用户界面，供您全方位配置和管理 Elastic Stack。
Kibana 让您能够自由地选择如何呈现您的数据。或许您一开始并不知道自己想要什么。不过借助 Kibana 的交互式可视化，您可以先从一个问题出发，看看能够从中发现些什么。
4）Beats
Beats 是轻量型采集器的平台，从边缘机器向 Logstash 和 Elasticsearch 发送数据。
Beats 是数据采集的得力工具。将这些采集器安装在您的服务器中，它们就会把数据汇总到 Elasticsearch。如果需要更加强大的处理性能，Beats 还能将数据输送到 Logstash 进行转换和解析。
Beats可采集的内容有：日志文件、指标、网络数据、Windows事件日志、审计数据、运行时间监控。具体可查看https://www.elastic.co/cn/downloads/beats。
5)软件获得
https://www.elastic.co/cn/products

2.ELK安装及问题解决

1）安装
说明：ELK安装简单，关键是配置文件的使用，这里仅罗列出安装地址，具体可查看官网，配置的相关介绍会在后续使用进行讲解。
a.安装JDK，这里注意版本，可以关注
Logstash（https://www.elastic.co/guide/en/logstash/current/installing-logstash.html#package-repositories），开头有说明Logstash requires Java 8 or Java 11；
b.安装Beats，我这里安装的Filebeat（https://www.elastic.co/cn/downloads/beats/filebeat）;
c.安装Logstash（https://www.elastic.co/cn/downloads/logstash#），在控制台输入bin/logstash -e 'input { stdin { } } output{ stdout{ } }'进行测试，在测试前可以先看一下内存，使用命令free -m查看，看剩余内存是否满足config/jvm.options中的-Xms、-Xmx值，防止因内存不足导致的logstash测试失败;
d.安装Elasticsearch（https://www.elastic.co/cn/downloads/elasticsearch），可通过JPS查看是否启动或在浏览器端输入http://ip:9200检查；
e.安装Kibana（https://www.elastic.co/cn/downloads/kibana），可通过netstat -ntpl检查是否启动；

2）问题解决
a.ES错误：在centOS 启动报错 UnsupportedOperationException 异常
解决：因为Centos6不支持SecComp,而ES默认bootstrap.system_call_filter为true进行检测,所以导致检测失败,失败后直接导致ES不能启动解决:修改elasticsearch.yml 添加一下内容：
bootstrap.memory_lock: false
bootstrap.system_call_filter: false
b.ES错误：elasticsearch不能以root用户启动的解决方法
解决：这种情况下，需要先改变目录的用户权限，然后再以普通用户启动
c.ES错误：Exception in thread "main" java.