ELK的搭建和使用

最新推荐文章于 2024-05-18 19:03:28 发布
最新推荐文章于 2024-05-18 19:03:28 发布
阅读量4.2k 收藏 16
点赞数 1
分类专栏： elasticsearch 文章标签： elasticsearch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_30614345/article/details/132240276
版权

ELK的搭建和使用

1、什么是ELK

日志收集平台有多种组合方式：

  • ELK Stack 方式：Elasticsearch + Logstash + Filebeat + Kibana，业界最常见的架构。

在这里插入图片描述

  • Elasticsearch + Logstash + Kafka + Kibana，用上了消息中间件，但里面也有很多坑。

在这里插入图片描述

ELK Stack 的方式，这种方式对我们的代码无侵入，核心思想就是收集磁盘的日志文件，然后导入到

Elasticsearch。比如我们的应用系统通过 logback 把日志写入到磁盘文件，然后通过这一套组合的中间件就能把

日志采集起来供我们查询使用了。

ELK 不是一款软件，而是Elasticsearch、Logstash 和 Kibana 三种软件产品的首字母缩写。这三者都是开源

软件，通常配合使用，而且又先后归于 Elastic.co 公司名下，所以被简称为 ELK Stack。根据 Google Trend 的信

息显示，ELK Stack 已经成为目前最流行的集中式日志解决方案。

  • Elasticsearch：分布式搜索和分析引擎，具有高可伸缩、高可靠和易管理等特点。基于 Apache Lucene 构

    建，能对大容量的数据进行接近实时的存储、搜索和分析操作。通常被用作某些应用的基础搜索引擎，使其具

    有复杂的搜索功能。

  • Logstash：数据收集引擎。它支持动态的从各种数据源搜集数据，并对数据进行过滤、分析、丰富、统一格

    式等操作，然后存储到用户指定的位置。

  • Kibana：数据分析和可视化平台。通常与 Elasticsearch 配合使用，对其中数据进行搜索、分析和以统计图

    表的方式展示。

2、简单的ELK架构

整体的架构图如下所示：
在这里插入图片描述

流程如下：

  • 先使用 Filebeat 把日志收集起来，然后把数据再传给 Logstash。
  • 通过 Logstash 强大的数据清洗功能。
  • 最终把数据写入到 Elasticsearch 中。
  • 并由 Kibana 进行可视化。

3、安装部署

3.1 环境准备

相关软件的安装，请参考：

《Windows环境下Elasticsearch相关软件安装》

《Docker安装Elasticsearch相关软件安装》

《Linux环境下Elasticsearch相关软件安装》

3.2 配置 logstash

主要是监听某个端口来获取数据。

配置文件地址：https://www.elastic.co/guide/en/logstash/7.12/index.html

创建配置文件

$ cd /home/zhangshixing/elasticsearch/logstash-7.12.1
$ mkdir streamconf
$ cd streamconf
$ vim weblog.conf

配置文件内容如下：

input {  
  # 配置了 input 为 beats
  beats {
    port => "9900"
  }
}
 
filter {
  grok {
    match => { "message" => "%{COMBINEDAPACHELOG}" }
  }
 
  mutate {
    convert => {
      "bytes" => "integer"
    }
  }
 
  geoip {
    source => "clientip"
  }
 
  # 修改了 useragent
  useragent {
    source => "user_agent"
    target => "useragent"
  }
 
  date {
    match => ["timestamp", "dd/MMM/yyyy:HH:mm:ss Z"]
  }
}
 
output {
  stdout {
    codec => dots {}
  }
 
  elasticsearch {
    hosts=>["192.168.94.186:9200"]
    # 新增了索引名字
    index => "apache_elastic_example"
  }
}

启动

$ ./bin/logstash -f /home/zhangshixing/elasticsearch/logstash-7.12.1/streamconf/weblog.conf

在这里插入图片描述

3.3 配置Filebeat

主要是监听某个数据文件的变换来获取数据。

将监听到的数据发送到配置的logstash。

配置文件地址：

https://www.elastic.co/guide/en/beats/filebeat/7.12/configuring-howto-filebeat.html

日志文件准备

在/home/zhangshixing/logs/目录下放置debug.log，error.log，info.log三个文件。

在这里插入图片描述

创建配置文件

$ cd /home/zhangshixing/elasticsearch/filebeat-7.12.1-linux-x86_64
$ vim filebeat_apache.yml

配置文件内容如下：

filebeat.inputs:
- type: log
  enabled: true
  paths:
    - /home/zhangshixing/logs/*.log
output.logstash:
  hosts: ["192.168.94.186:9900"]

$ ./filebeat -e -c /home/zhangshixing/elasticsearch/filebeat-7.12.1-linux-x86_64/filebeat_apache.yml

在这里插入图片描述

3.4 测试

索引查看

在这里插入图片描述

在这里插入图片描述

数据读取
在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

3.5 注意

注意下 logstash 中的 grok 过滤器，指定的 message 的格式需要和自己的日志的格式相匹配，这样才能将我们的

日志内容正确映射到 message 字段上。

例如我的 logback 的配置信息如下：

在这里插入图片描述

而我的 logstash 配置如下，和 logback 的 pettern 是一致的。

grok {
    match => { "message" => "%d{yyyy-MM-dd HH:mm:ss} [%thread] %-5level %logger -%msg%n" }
  }

4、ELK部署之使用redis消息队列

整体结构如下：

在这里插入图片描述

4.1 部署filebeat配置将日志数据输入到redis

这里首先需要安装redis，redis的安装请参考《Redis的安装》。

准备日志文件：
在这里插入图片描述

filebeat_redis.yml配置文件配置内容：

filebeat.inputs:
- type: log
  enabled: true
  paths:
    - /home/zhangshixing/redislogs/info.log 
output.redis:
  hosts: ["192.168.94.186:6379"]
  key: "filebeat-redis"

启动：

$ ./filebeat -e -c /home/zhangshixing/elasticsearch/filebeat-7.12.1-linux-x86_64/filebeat_redis.yml

在这里插入图片描述

redis查看：
在这里插入图片描述

4.2 部署logstash配置读入redis数据输入到ES集群中

$ mkdir redis
$ cd redis
$ vim  redis.conf

redis.conf配置文件的内容：

input {
	redis {
		host => "192.168.94.186"
		port => "6379"
		db => "0"
		key => "filebeat-redis"
		data_type => "list"
	}
}
output {
	stdout {}
		elasticsearch {
			hosts => "192.168.94.186:9200"
			manage_template => false
			index => "filebeat-redis-%{+YYYY.MM.dd}"
	}
}

启动logstash：

$ ./bin/logstash -f  /home/zhangshixing/elasticsearch/logstash-7.12.1/redis/redis.conf

在这里插入图片描述

查看索引建立情况：

$ curl -XGET "192.168.94.186:9200/_cat/indices?v"

在这里插入图片描述

查看数据：

$ curl -XGET "192.168.94.186:9200/filebeat-redis-2022.06.28/_search

在这里插入图片描述

5、Kafka+ELK 完成海量日志收集

整体结构：

在这里插入图片描述

5.1 部署filebeat配置将日志数据输入到kafka

这里首先需要安装kafka，kafka的安装请参考《Kafka的安装》。

创建两个topic

$ docker exec -it kafka /bin/sh
$ cd /opt/kafka_2.13-2.8.1
$ bin/kafka-topics.sh --zookeeper 192.168.94.186:2181 --create --topic app-log-collector --partitions 1 --replication-factor 1
$ bin/kafka-topics.sh --list --zookeeper 192.168.94.186:2181

在这里插入图片描述

# 我们可以查看一下topic情况
$ bin/kafka-topics.sh --zookeeper 192.168.94.186:2181 --topic app-log-collector --describe

在这里插入图片描述

filebeat配置文件

创建filebeat_kafka.yaml配置文件

filebeat.inputs:
- type: log
  enabled: true
  paths:
    - /home/zhangshixing/kafkalogs/info.log
output.kafka:
  hosts: ["192.168.94.186:9092"]
  topic: "app-log-collector"
  partition.round_robin: 
    reachable_only: true

启动

$ ./filebeat -e -c /home/zhangshixing/elasticsearch/filebeat-7.12.1-linux-x86_64/filebeat_kafka.yml

在这里插入图片描述

查看kafka后台信息

$ docker logs -f kafka

在这里插入图片描述

5.2 部署logstash配置读入kafka数据输入到ES集群中

配置文件

$ mkdir kafka
$ cd kafka
$ vim  kafka.conf

input {
  kafka {
    bootstrap_servers => "192.168.94.186:9092"
    topics => "app-log-collector"
  }
}
output {
  stdout {}
  elasticsearch {
			hosts => ["192.168.94.186:9200"]
			manage_template => false
			index => "filebeat-kafka-%{+YYYY.MM.dd}"
	}
}

启动

$ ./bin/logstash -f  /home/zhangshixing/elasticsearch/logstash-7.12.1/kafka/kafka.conf

在这里插入图片描述

准备日志文件

在这里插入图片描述

往日志文件中插入数据，logstash后台信息：

在这里插入图片描述

查看索引建立情况：

$ curl -XGET "192.168.94.186:9200/_cat/indices?v"

在这里插入图片描述

查看数据：

$ curl -XGET "192.168.94.186:9200/filebeat-kafka-2022.06.29/_search

在这里插入图片描述

6、基于ELK搭建mysql慢查询、错误日志监控平台

6.1 mysql开启慢日志

这里为了操作方便，使用在 windows 上的 mysql 数据库。

如果 mysql 没有开启慢日志的，要先开启：

1、 登陆 mysql，查看 mysql 是否开启慢日志

$ show variables like '%slow_query_log%';

如图所示是没有开启的：

在这里插入图片描述

在这里插入图片描述

2、开启慢查询日志，修改配置文件C:\Program Files\MySQL\MySQL Server 5.5\my.ini

[mysqld]
# 开启慢日志
slow_query_log=1
# 日志位置
slow_query_log_file=C:\ProgramData\MySQL\MySQL Server 5.5\Data\WIN-NISNE13T693-slow.log
# 设置阈值
long_query_time=3
# 输出形式
log_output=FILE

在这里插入图片描述

3、重启mysql
在这里插入图片描述

4、再次登陆查询，已经开启

在这里插入图片描述

6.2 错误日志查询

$ show variables like 'log_error';

在这里插入图片描述

6.3 Filebeat

新建配置文件

filebeat_mysql.yml配置文件：

filebeat.config.modules:
  path: ${path.config}/modules.d/*.yml
  reload.enabled: false
setup.template.settings:
  index.number_of_shards: 1
  index.number_of_replicas: 0
output.elasticsearch:
  hosts: ["localhost:9200"]
setup.kibana:
  host: "localhost:5601"

启用mysql模块

$ .\filebeat -e -c filebeat_mysql.yml modules enable mysql

在这里插入图片描述

在modules.d目录下会生成mysql.yml文件

# Module: mysql
# Docs: https://www.elastic.co/guide/en/beats/filebeat/7.x/filebeat-module-mysql.html

- module: mysql
  # Error logs
  error:
    enabled: true

    # Set custom paths for the log files. If left empty,
    # Filebeat will choose the paths depending on your OS.
    #var.paths:

  # Slow logs
  slowlog:
    enabled: true

    # Set custom paths for the log files. If left empty,
    # Filebeat will choose the paths depending on your OS.
    #var.paths:

修改mysql module配置文件mysql.yml

# Module: mysql
# Docs: https://www.elastic.co/guide/en/beats/filebeat/7.x/filebeat-module-mysql.html

- module: mysql
  # Error logs
  error:
    enabled: true

    # Set custom paths for the log files. If left empty,
    # Filebeat will choose the paths depending on your OS.
    var.paths: ["C:\\ProgramData\\MySQL\\MySQL Server 5.5\\Data\\WIN-NISNE13T693.err"]

  # Slow logs
  slowlog:
    enabled: true

    # Set custom paths for the log files. If left empty,
    # Filebeat will choose the paths depending on your OS.
    var.paths: ["C:\\ProgramData\\MySQL\\MySQL Server 5.5\\Data\\WIN-NISNE13T693-slow.log"]

加载kibana仪表盘

$ .\filebeat -e -c filebeat_mysql.yml setup

在这里插入图片描述

运行filebeat，注意这里不要把上述的指令中断后再执行，直接新开窗口执行，否则可能生成面板失败：

$ .\filebeat -e -c filebeat_mysql.yml

在这里插入图片描述

可视化查看

kibana主页 -> 添加数据 -> MySQL日志，中点击检查数据，如果出现成功提示则说明配置成功。
在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

点击检查数据：

在这里插入图片描述

点击MySQL 日志仪表板：

在这里插入图片描述

执行select sleep(5);，查看结果：

在这里插入图片描述

242030
关注
  • 1
    点赞
  • 踩
  • 16
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
3.1 ELK环境搭建和使用1
08-04
第一章 部署准备1.1 目的使用 ELK 搭建日志收集和分析系统，将所有的应用日志、系统日志等做统一收集、存储、查询、分析等管理动作，提供 API 和 web
ELK 日志监控平台环境搭建及使用说明_elk日志监控平台
2401_84765537的博客
05-15 504
解压之后，进入logstash目录，创建”conf”目录，编写配置文件。下面以收集分析nginx access 日志为例。配置文件分为三个部分：input，filter，output。三部分文件写，也可写一块此处的正则表达式要和nginx的日志格式相对应，否则会匹配失败，无法将nginx日志离散取值。选项”-f”是logstahsh的配置文件，如果有多个配置文件，也可以是一个目录。%{NUMBER:status:int} 将status字段设为整型，
ELK 日志监控平台（一）- 快速搭建
最新发布
AHAO的博客
05-18 2115
ELK（Elasticsearch, Logstash, Kibana）是一个目前主流的开源日志监控平台。Elasticsearch：是一个开源的分布式搜索和分析引擎，可以用于全文检索、结构化检索和分析，它构建在Lucene搜索引擎库之上，是当前使用较为广泛的开源搜索引擎之一。Logstash：一个用于收集、处理和转发日志数据的数据处理管道。
ELK（Elasticsearch+Logstash+Kibana）日志分析系统
十七拾的博客
04-11 2178
本文主要介绍了ELK日志文件系统的概念和部署过程，详细阐释了Elasticsearch、Logstash、Kibana三个开源的日志收集、存储、检索和可视化的工具
ELK搭建完整步骤
qq_45882426的博客
11-09 1484
ELK其实是Elasticsearch，Logstash 和 Kibana三个产品的首字母缩写，这三款都是开源产品。ElasticSearch(简称ES)，是一个实时的分布式搜索和分析引擎，它可以用于全文搜索，结构化搜索以及分析。Logstash，是一个数据收集引擎，主要用于进行数据收集、解析，并将数据发送给ES。支持的数据源包括本地文件、ElasticSearch、MySQL、Kafka等等。Kibana，为 Elasticsearch 提供了分析和 Web 可视化界面，并生成各种维度表格、图形。
ELK--- ELK简介
MAKEJAVAMAN的博客
01-01 5815
文章目录ELK简介特点组件介绍Elastic SearchLogstashKibanaBeatsElastic cloud ELK简介 ELK是一个免费开源的日志分析架构技术栈总称，官网地址：https://www.elastic.co/cn/。主要包含三大基础组件，分别是Elastic Search、Logstash、Kibana。 但是实际上ELK不仅仅适用于日志分析，它还可以支持其它任何数据搜索、分析和收集的场景，日志分析和收集只是更具有代表性，并非唯一性。 架构图如下： 随着ELK的发展，新成员B
2023最新ELK日志平台（elasticsearch+logstash+kibana）搭建
yy的博客
07-04 9507
去年公司由于不断发展，内部自研系统越来越多，所以后来搭建了一个日志收集平台，并将日志收集功能以二方包形式引入自研系统，避免每个自研系统都要建立一套自己的日志模块，节约了开发时间，管理起来也更加容易。这篇文章主要介绍ELK最新版本的搭建，二方包的介绍可以看小霸王的另外一篇文章。Elasticsearch 是一个分布式、Restful 风格的搜索和数据分析引擎，能够解决不断涌现出的各种用例。
ELK详解
waghaiping的博客
10-21 6581
一，搜索原理 1，前提条件 数据准备 a.获取数据 - 从互联网中获取数据 爬虫，网站数据 b.建立文档 - 方便本地查询，将之前获取的数 据，以文档的样式存在 采取专用的存储软件，将文件（Document）存储下来，每个Document里面包含了大量的内容区域（Field） c.词语解析 - 从文档里面提取关键字，便于后续检索 提取关键字（Term），便于后续检索 d.创建索引 - 将文档和关键字关联在一起
ELk日志分析系统搭建
@chenk的博客
05-17 5669
一、什么是ELK ​ ELK是Elasticsearch + Logstash + Kibana 这种架构的简写. ​ 这是一种日志分析平台的架构. 如果没有ELK这样的日志分析平台,我们同样可以使用shell三剑客(grep、sed、awk)来分析日志。 这种方式略显原始而简陋，虽然也能应对大多数的场景，但是当日志量变大，分析频繁的时候，仅靠人工shell 的方式来查看分析日志，就很不方便。 尤其适当使用者，对于shell不是很擅长的情况下，一个操作简单，配置方便的日志分析平台，就显得很有必要了。
ELK搭建及基础使用（docker版）
weixin_49566876的博客
03-23 1276
ELK平台是一套完整的日志集中处理解决方案，将 ElasticSearch、Logstash 和 Kiabana 三个开源工具配合使用，完成更强大的用户对日志的查询、排序、统计需求● ElasticSearch（日志存储和搜索）：是基于Lucene（一个全文检索引擎的架构）开发的分布式存储检索引擎，用来存储各类日志。Elasticsearch 是用 Java 开发的，可通过 RESTful Web 接口，让用户可以通过浏览器与 Elasticsearch通信。
使用Docker搭建ELK日志系统
02-25
之前用本地版本安装了ELK之后，就没有再去弄它了。年底没那么忙，心里一直惦记，所以最近又开始折腾了。去elastic官网看一下，果然版本帝就是版本帝，一周一版本。现在我用的版本是基于6.1.1版本的。...使用dockerima
使用ELK搭建日志集中分析平台实践
01-27
Elasticsearch+Logstash+Kibana（ELK）是一套开源的日志管理方案，分析网站的访问情况时我们...Logstash：负责日志的收集，处理和储存Elasticsearch：负责日志检索和分析Kibana：负责日志的可视化ELK(Elasticsearch+
ELK集群搭建(基础教程)
lqcbj的博客
01-30 2430
ELK集群搭建(基础教程) 目录： 机器准备 集群内各台机器安装Elasticsearch 安装部署Kafka（注：每个节点都配置，注意ip不同） 安装logstash工具 安装filebeat ELK收集Nginx的json日志 ELK收集Nginx正常日志和错误日志 ELK收集Tomcat日志 ELK收集docker日志 配置filebeat收集单个docker日志 modules日志收集 使用redis作为缓存收集日志 使用Kafka做缓存收集日志
ELK——日志处理界的瑞士军刀
hy199707的博客
04-11 1140
在大数据时代，日志管理与分析已经成为运维、开发和业务优化中不可或缺的一环。而ELK ，即Elasticsearch、Logstash、Kibana三者组成的开源解决方案，以其强大的实时数据分析能力，在业界广受好评，被誉为“日志处理界的瑞士军刀”。
ELK搭建以及使用教程（多pipiline）
weixin_38405770的博客
11-05 1307
ELK搭建
ELK日志系统搭建完整详细步骤
qq_39093474的博客
05-23 971
为什么需要引进这个ELK日志采集系统呢？
快速搭建ELK日志分析系统
weixin_33910434的博客
06-15 2746
一、ELK搭建篇 官网地址:https://www.elastic.co/cn/ 官网权威指南:https://www.elastic.co/guide/cn/elasticsearch/guide/current/index.html 安装指南：https://www.elastic.co/guide/en/elasticsearch/reference/5.x/rpm.html ELK是Ela...
ELK简介及其配置和常规用法
king_weng的博客
06-02 2078
0、前提 Java环境 注：运行ELK需要有对应的java环境，此处要注意的时候如果ELK的版本不是很高，那么jdk的版本也不宜过高 1、ELK简介 ELK是Elasticsearch、Logstash、Kibana的简称，这三者是核心套件，但并非全部。 （1）Elasticsearch： 是实时全文搜索和分析引擎，提供搜集、分析、存储数据三大功能；是一套开放REST和JAVA API等结构提供高效搜索功能，可扩展的分布式系统。它构建于Apache Lucene...
ELK 平台搭建及生产使用
09-06
要搭建和使用ELK平台，您需要按照以下步骤进行操作： 1. 安装和配置Elasticsearch：首先，您需要安装Elasticsearch。您可以从官方网站下载适用于您的操作系统的包，并按照官方文档中的指南进行安装。安装完成后，您需要进行一些基本的配置，如设置集群名称和节点名称。 2. 安装和配置Logstash：Logstash 是一个用于数据收集、处理和传输的工具。您可以从官方网站下载适用于您的操作系统的包，并按照官方文档中的指南进行安装。安装完成后，您需要配置Logstash来定义输入、过滤器和输出，以便从不同的数据源收集日志数据并将其发送到Elasticsearch。 3. 安装和配置Kibana：Kibana 是一个用于数据可视化和分析的工具。您可以从官方网站下载适用于您的操作系统的包，并按照官方文档中的指南进行安装。安装完成后，您需要配置Kibana来连接到Elasticsearch，并创建可视化仪表板、图表和搜索查询等。 4. 配置和优化ELK集群：一旦您完成了Elasticsearch、Logstash和Kibana的安装和配置，您可以开始进行集群配置和优化。您可以调整Elasticsearch集群的硬件资源分配，配置索引和搜索的优化参数，以满足您的需求。 5. 生产环境使用：在将ELK平台投入生产环境之前，您需要确保您的日志数据源正确地发送到Logstash，并且通过Kibana可以正确地进行搜索和可视化。您还应该设置适当的安全性措施，如访问控制和身份验证，以保护您的数据。 以上是搭建和使用ELK平台的一般步骤。具体操作可能因环境和需求而有所不同，建议您参考官方文档以获取更详细的指南和最佳实践。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值