ELK日志分析服务配置

最新推荐文章于 2025-03-31 18:47:40 发布

weixin_43819738

最新推荐文章于 2025-03-31 18:47:40 发布

阅读量860

点赞数 30

文章标签： elk linux

本文链接：https://blog.csdn.net/weixin_43819738/article/details/143285538

版权

ELK平台可以进行实时日志分析，ELK由ElasticSearch、Logstash和Kibana三个开源工具组成，现

在还新增了一个Beats,它是一个轻量级的日志收集处理工具

Elasticsearch 是基于 Lucene 全文检索引擎架构，基于 JAVA 语言编写，对外开源、免费，它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制，restful 风格接口，多数据源，自动搜索负载等，ELK 官网：
https://www.elastic.co/

Logstash 主要是用来日志的搜集、分析、过滤日志的工具，支持大量的数据获取方式。工作方式为 C/S 架构，Client 端安装在需要收集日志的主机上，Server 端负责将收到的各节点日志进行过滤、修改等操作在一并发往Elasticsearch 服务器。

Kibana 也是一个开源和免费的工具，它 Kibana 可以为 Logstash 和ElasticSearch 提供的日志分析友好的 Web 界面，可以帮助您汇总、分析和搜索重要数据日志；

FileBeat 是一个轻量级日志采集器，Filebeat 属于 Beats 家族的 6 个成员之一，早期的 ELK 架构中使用 Logstash 收集、解析日志并且过滤日志，但是Logstash 对 CPU、内存、IO 等资源消耗比较高，相比 Logstash，Beats所占系统的 CPU 和内存几乎可以忽略不计；

Logstash 和 Elasticsearch 是用 Java 语言编写，而 Kibana 使用 node.js 框架，在配置 ELK 环境要保证系统有 JAVA JDK 开发库（JRE：JVM 虚拟机）；

准备三台服务器

分别上传以下文件

133服务器

135服务器

136服务器

ELK工作原理：

Logstash收集日志，进行过滤处理，并且将数据发往elasticsearch，最终通过Kibana

ELK工作流程：

在linux、windows客户端安装Logstash日志收集工具（插件），通过logstash收集客户端（内核日志、安全日志、邮件日志、Nginx、Mysql、Redis、Docker)的日志数据，将所有的日志过滤出来，存入Elasticsearch搜索+引擎里，然后通过kibana GUI在WEB前端展示给用户，用户需要可以进行查看指定的日志内容。同时也可以加入redis通信队列

部署JDK，可以通过yum install -y java，也可以通过源码包安装

133存储搜索引擎服务器

解压jdk安装包，并移动到/usr/local路径下，jdk安装包解压后即可使用