docker搭建简单elk日志系统5(logstash管道配置文件logstash.conf)

已于 2023-05-23 19:00:33 修改
阅读量1.1k 收藏 1
点赞数
文章标签： docker elk elasticsearch
于 2023-04-24 17:11:10 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44835704/article/details/130224040
版权

docker搭建简单elk日志系统1
docker搭建简单elk日志系统2
docker搭建简单elk日志系统3
docker搭建简单elk日志系统4
如有疑问可以去上面文档找相关内容

1.查看logstash管道配置文件logstash.conf

cd ~/elk/logstash/pipeline/
cat logstash.conf

在这里插入图片描述
默认的配置文件输入是beat；
beat表示ELK Stack中的核心组件Beats;
Beats指轻量型数据采集器，是一些列beat的合称；目前官网上的beat有：

Filebeat
用于采集日志和其他数据的轻量型采集器

Metricbeat
轻量型指标数据采集器

Packetbeat
轻量型网络数据采集器

Winlogbeat
轻量型 Windows 事件日志采集器

Auditbeat
轻量型审计数据采集器

Heartbeat
用于运行状态监测的轻量型采集器
那么搭建日志系统所用的beat就是filebeat;关于filebeat连接logstash，在
docker搭建简单elk日志系统4中有相关配置
默认的配置文件输出是stdout；
stdout（标准输出），即默认会将beat发送过来的数据打印到控制台上

2.修改logstash的默认输出

通过filebeat收集的日志传到logstash中，logstash处理后最后要传送到elasticsearch才能让日志持久化到磁盘中，方便后续查看分析；
vim ~/elk/logstash/pipeline/logstash.conf
在output中添加

  elasticsearch {
    hosts => ["https://192.168.182.128:9200"]
    index => "%{[fields][env]}-%{[fields][application]}-%{+YYYY.MM.dd}"
    cacert => "/usr/share/logstash/config/certs/http_ca.crt"
    user => "elastic"
    password => "+4TMJBgOpjdgH+1MJ0nC"
  }

在这里插入图片描述
logstash.yml相关配置
hosts :elasticsearch的地址;使用https;同logstash.yml中的配置
index:索引，所有存到elasticsearch的数据都需要设置索引（[fields][env]和[fields][application]是在filebeat中添加的自定义字段）
cacert:elasticsearch证书;同logstash.yml中的配置
user :elasticsearch账户;同logstash.yml中的配置
password :上面user对应的密码;同logstash.yml中的配置

3.重启logstash

docker restart logstash

在这里插入图片描述

4.生成日志供filebeat收集

这里生成了一条错误日志
在这里插入图片描述
查看logstash日志

docker logs -f --tail 200  logstash

在这里插入图片描述

5.登录kibana查看是否生成索引

在这里插入图片描述
在这里插入图片描述
此处生成了一个名为dev-test-2023.04.18的索引；
这个索引由logstash.conf中的index配置生成的

index => "%{[fields][env]}-%{[fields][application]}-%{+YYYY.MM.dd}"

{[fields][env]}和%{[fields][application]}分别表示取json数据中的fileds.env和fileds.application字段；
fileds.env和fileds.application是在filebeat配置中设置的
在这里插入图片描述
%{+YYYY.MM.dd}表示取当前日期；索引名中动态取当前日期意味着，每天产生的日志对应elasticsearch中都有一个单独的索引

6.在kiban中查看日志

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
视图名称使用dev-test-*匹配所有以dev-test-开头的索引
在这里插入图片描述
在这里插入图片描述
这里的文档就对应产生的一条日志
这个文档里面的字段可能除了日志本身外还有很多我们不关心的字段
可以在左侧过滤出想展示的字段
找到message字段添加
在这里插入图片描述
此时展示的内容即为产生的日志
在这里插入图片描述
产生的日志是一条错误日志，内容比较多；这里并没有全部展示出来而是折叠了；设置日志行宽度自适应
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

7.logstash.conf输出配置中添加action配置

如果配置action => “create”；则会生成数据流，数据流下面的后备索引才是真正的索引，类似索引的别名；设置数据流主要是方便设置索引的生命周期，日志会不断地产生，但是磁盘确实有限的资源，所以需要给索引设置生命周期，自动删除那些老旧的日志，为新的日志腾出空间；如何设置索引生命周期后面再说

在这里插入图片描述
数据流命名格式一般为“logs-应用名-环境“
修改配置文件

input {
  beats {
    port => 5044
  }
}

output {
  elasticsearch {
    hosts => ["https://192.168.182.128:9200"]
    #index => "%{[fields][env]}-%{[fields][application]}-%{+YYYY.MM.dd}"
    index =>"logs-%{[fields][application]}-%{[fields][env]}"
    action => "create"
    cacert => "/usr/share/logstash/config/certs/http_ca.crt"
    user => "elastic"
    password => "+4TMJBgOpjdgH+1MJ0nC"
  }

  stdout {
    codec => rubydebug
  }
}

在这里插入图片描述

8.重启logstash，生成新的日志，查看logstash日志

docker restart logstash
docker logs -f logstash

程序日志输出
在这里插入图片描述
logstash日志
在这里插入图片描述
elasticsearch中出现数据流
在这里插入图片描述

9.按照前面的方法创建数据视图

logs-test-dev
通过Discover查看视图
在这里插入图片描述
从产生的三条日志来看，发现一个问题：这里默认排序是按@timestamp字段倒序排列的；但是按日志产生的顺序来看最上面两条是正序排列的，而最上面两条日志和第三条日志之间又是倒序排列的
在这里插入图片描述
这样日志看起来可能就比较混乱；造成这个现象的原因是：@timestamp字段是filebeat收集日志的时间，但是filebeat收集日志并不是应用产生一条日志就收集一条，而是一批一批收集的，也就是最上面两条日志是同一批次收集的，es并不能区分同一批里面日志的先后顺序；而日志里面的时间才是日志真实产生的时间，@timestamp只是收集日志的时间；
所以要解决的问题就是从日志将日志真实产生时间提取出来，并设置到@timestamp字段中，要从日志中提取时间就需要给将日志进行拆分

10.日志字段拆分

java日志一般有固定格式；我们可以根据格式将每一条日志拆分成固定数量的字段，就像关系型数据库一样
如下面的日志：

2023-04-21 17:09:36.394 ERROR [xcoa,,] 23072 --- [           main] com.zaxxer.hikari.pool.HikariPool        : HikariPool-2 - Exception during pool initialization.

2023-04-21 17:09:36.394 =>日志产生时间
ERROR =>日志级别
[xcoa,] =>上下文等信息
23072 => 进程id
[ main] => 线程名
com.zaxxer.hikari.pool.HikariPool =>类名
HikariPool-2 - Exception during pool initialization. =>日志内容
针对这个日志，在logstash中可以根据下面的grok表达式进行匹配：

(?m)^%{TIMESTAMP_ISO8601:log-time}\s+%{LOGLEVEL:log-level}\s+\[%{DATA:application}\]\s+%{INT:pid}\s+---\s+\[%{DATA:thread}\]\s+%{DATA:class}\s+:\s+%{GREEDYDATA:log-message}

拆分出的各个字段如下：

log-time:日志产生时间
log-level:日志级别
application :上下文等信息
pid:进程id
thread:线程名
class:类名
log-message.:日志内容

对应在logstash配置

input {
  beats {
    port => 5044
  }
}

filter{
  grok{
    match => {
      "message" => "(?m)^%{TIMESTAMP_ISO8601:log-time}\s+%{LOGLEVEL:log-level}\s+\[%{DATA:application}\]\s+%{INT:pid}\s+---\s+\[%{DATA:thread}\]\s+%{DATA:class}\s+:\s+%{GREEDYDATA:log-message}"
    }
  }
}

output {
  elasticsearch {
    hosts => ["https://192.168.182.128:9200"]
    #index => "%{[fields][env]}-%{[fields][application]}-%{+YYYY.MM.dd}"
    index =>"logs-%{[fields][application]}-%{[fields][env]}"
    action => "create"
    cacert => "/usr/share/logstash/config/certs/http_ca.crt"
    user => "elastic"
    password => "+4TMJBgOpjdgH+1MJ0nC"
  }

  stdout {
    codec => rubydebug
  }
}

在这里插入图片描述

11.日志字段拆分效果测试

重启logstash

docker restart logstash

产生日志
在这里插入图片描述
kibana中查看（已经可以在字段列表中看到拆分出来的字段，后续可以用这些字段筛选）
在这里插入图片描述

12.日志按产生时间排序

前面已经将日志产生时间拆分出来并放在log-time字段里面
在这里插入图片描述
所以需要做的是，用log-time字段的内容覆盖@timestamp就可以了
logstash.conf的filter中加入配置：

  date {
      match => ["log-time", "yyyy-MM-dd HH:mm:ss.SSS", "ISO8601"] #原字段转换成时间类型
      locale => "en"
      target => [ "@timestamp" ] #目标字段
      timezone => "Asia/Shanghai"
  }

这里的配置就是将log-time按格式化转化为时间类型然后覆盖到@timestamp字段

如果想保留原@timestamp，可以将原@timestamp值赋值给新的字段：
下面配置将@timestamp设置给了一个新字段collection_time

  ruby {
    code => "event.set('collection_time', event.get('@timestamp'))"
  }

完整配置为：
在这里插入图片描述

input {
  beats {
    port => 5044
  }
}

filter{
  grok{
    match => {
      "message" => "(?m)^%{TIMESTAMP_ISO8601:log-time}\s+%{LOGLEVEL:log-level}\s+\[%{DATA:application}\]\s+%{INT:pid}\s+---\s+\[%{DATA:thread}\]\s+%{DATA:class}\s+:\s+%{GREEDYDATA:log-message}"
    }
  }
  ruby {
    code => "event.set('collection_time', event.get('@timestamp'))"
  }
  date {
      match => ["log-time", "yyyy-MM-dd HH:mm:ss.SSS", "ISO8601"]
      locale => "en"
      target => [ "@timestamp" ]
      timezone => "Asia/Shanghai"
  }
}

output {
  elasticsearch {
    hosts => ["https://192.168.182.128:9200"]
    #index => "%{[fields][env]}-%{[fields][application]}-%{+YYYY.MM.dd}"
    index =>"logs-%{[fields][application]}-%{[fields][env]}"
    action => "create"
    cacert => "/usr/share/logstash/config/certs/http_ca.crt"
    user => "elastic"
    password => "+4TMJBgOpjdgH+1MJ0nC"
  }

  stdout {
    codec => rubydebug
  }
}

13.效果测试

重启logstash

docker restart logstash

在这里插入图片描述
产生日志

在这里插入图片描述
kibana中查看新产生的日志：
在这里插入图片描述
可以看到新产生的日志@timestamp值现在是一致的。使用@timestamp也不会出现日志乱序的问题

下一篇
docker搭建简单elk日志系统6

weixin_44835704
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
详解利用ELK搭建Docker容器化应用日志中心
01-11
本文即将阐述如何利用ELK日志中心来收集容器化应用程序所产生的日志，并且可以用可视化的方式对日志进行查询与分析，其架构如下图所示： 架构图 镜像准备 镜像准备 ElasticSearch镜像 Logstash镜像 Kibana镜像...
ELK日志管理之——logstash配置语法
weixin_30457465的博客
11-20 453
Logstash 设计了自己的 DSL —— 有点像 Puppet 的 DSL，或许因为都是用 Ruby 语言写的吧 —— 包括有区域，注释，数据类型(布尔值，字符串，数值，数组，哈希)，条件判断，字段引用等。 一、基本语法组成 logstash.conf配置文件里至少需要有input和output两个部分构成 input { #输入 } filter ...
logstash日志分析的配置和使用
weixin_33840661的博客
02-01 635
logstash是一个数据分析软件，主要目的是分析log日志。整一套软件可以当作一个MVC模型，logstash是controller层，Elasticsearch是一个model层，kibana是view层。 首先将数据传给logstash，它将数据进行过滤和格式化（转成JSON格式），然后传给Elasticsearch进行存储、建搜索的索引，kibana提供前端的...
Logstash的conf文件
qq_39446651的博客
08-20 1907
Logstash是一个开源的、服务端的数据处理pipeline（管道），它可以接收多个源的数据、然后对它们进行转换、最终将它们发送到指定类型的目的地。Logstash是通过插件机制实现各种功能的，读者可以在https://github.com/logstash-plugins 下载各种功能的插件，也可以自行编写插件。 Logstash实现的功能主要分为接收数据、解析过滤并转换数据、输出数...
Docker部署ELK 8.8.2（4）-logstash部署和使用
weixin_48244640的博客
07-07 1347
Docker部署ELK 8.8.2，ELK介绍，Elasticsearch、Kibana、Logstash、Filebeat安装及使用。
Logstash配置详解
yygr的博客
04-08 1万+
https://blog.csdn.net/hushukang/article/details/84423184 Logstash配置文件位于Logstash安装目录下bin/logstash.conf 启动命令: logstash -f logstash.conf 1. Input Plugin 1.1 从文件输入 从文件读取数据，如常见的日志文件。文件读取通常要解决几个问题： No. 问题 解决办法 1 文件内容如何只被读取一次？即重启Logstash时，从
(精华)2020年10月2日 微服务 logstash的使用
热门推荐
时光隧道
09-04 45万+
if (!(Test-Path -Path $PROFILE)) { New-Item -ItemType File -Path $PROFILE -Force }
【记录】Logstash conf 配置文件介绍
luoxuepeng的博客
06-05 1354
官网参考样例 https://www.elastic.co/guide/en/logstash/current/config-examples.html
Logstash：多个配置文件（conf）
Elastic 中国社区官方博客
09-18 1万+
在前面的一篇文章“Logstash：处理多个input”中，我们介绍了如何使用在同一个配置文件中处理两个input的情况。在今天这篇文章中，我们来介绍如何来处理多个配置文件的问题。对于多个配置的处理方法，有多个处理方法： 多个pipeline 一个pipleline处理多个配置文件 一个pipeline含有一个逻辑的数据流，它从input接收数据，并把它们传入到队列里，经过worker......
docker搭建并启动Logstash
richpersion的博客
12-28 2329
docker搭建并启动Logstash。
采用logstach-input-jdbc使 ES 与 MySQL 进行同步
wangxin3618的博客
11-30 368
常见的ES 与 MySQL同步的工具介绍 1:elasticsearch-jdbc：更新也频繁，但是此插件不支持es5及以上 2:elasticsearch-river：好久不更新了 3:Go-mysql-elastic：中国大哥写的，还行，略有bug 4:logstash-input-jdbc：官方推荐插件，Ruby写的 本文讲述logstash-input-jdbc的使用： 安装l...
ELK-docker:运行 Elastic-search、Logstash 和 Kibana 的 docker
05-29
将logstash配置放在config/logstash.conf 。 构建 docker 镜像： docker build -t < image> . 运行一个 docker 容器： docker run -d -p 9200:9200 -p 5601:5601 --name < container> 您可以在 ...
elk-stack:带有预配置logstash，Kibana和Elastic Search的Docker映像
05-16
ELK-堆栈 带有预配置的Logstash / Elasticsearch / Kibana的... logstash接收者配置（/ opt / elk / conf / logstash） 日志（/ opt / elk / logs） elasticsearch数据（/ opt / elk / data） elasticsearch工作（/
docker-compose搭建elk全过程，以及设置密码
08-25
docker-compose搭建elk过程。可以查看对应的文章。 ├── docker-compose.yml ├── elasticsearch │ └── config │ └── elasticsearch.yml ├── kibana │ └── config │ └── kibana.yml └...
使用Docker Compose服务编排创建ELK
02-26
conf.d --该目录用来存放logstash启动后需要执行任务的配置文件 logstash.yml --logstash的配置文件 我这里没有配置 使用默认的就好了 elasticsearch data --该目录存放elasticsearch的数据 plugins --该目录...
04 Docker练习赛从0开始到 docker 镜像提交
在科技的浪潮中，我们寻找着创新的火种，在代码的海洋里，我们编织着智慧的网。腾飞开源，就是这样一个由技术精英汇聚而成的博客平台，我们致力于分享在Java、Python、IoT和人工智能等领域的最新研究成果和实战经验。 在腾飞开源的博客上，你会看到紧跟技术前
04-30 1128
创建 Dockerfile这里 FROM 后面跟的是 baseimg 这里选择的是天池 baseimg 帖子里的第一个ADD ./ 是把当前文件夹里的文件构建到镜像的根目录下WORKDIR / 指定默认工作目录为跟目录（这里要注意指定后，需要把 run.sh 和生成的结果文件都存放在该文件夹下，否则提交会运行失败）第四句话是安装软件包，这里不需要，注释掉最后一句 CMD 就是镜像启动时执行什么命令，这里统一为 sh run.sh 不需要改动。
docker Harbor私有仓库部署管理
最新发布
mikechen1的博客
05-05 869
Harbor是VWware 公司开源的企业级Docker Registry项目，其目标是帮助用户迅速搭建一个企业级的Docker Registry服务。Harbor以Docker 公司开源的Registry 为基础，提供了图形管理UI、基于角色的访问控制（Role Based AccessControl）、AD/LDAI们成以心宙计日志（Auditlogging）等企业用户需求的功能，同时还原生支持中文。Harbor的每个组件都是以Docker 容器的形式构建的，使用。
Docker consul的容器服务更新与发现
YUEAwb的博客
04-29 884
consul是google开源的一个使用go语言开发的服务管理软件。支持多数据中心、分布式高可用的、服务发现和配置共享。采用Raft算法，用来保证服务的高可用。内置了服务注册与发现框架、分布一致性协议实现、健康检查、Key/Value存储、多数据中心方案，不再需要依赖其他工具（比如ZooKeeper等）。服务部署简单，只有一个可运行的二进制的包。每个节点都需要运行agent，他有两种运行模式server 和 client。
用Docker单独安装xiaoya-alist
wbsu2004的博客
04-29 2935
小雅是资源聚合站，通过自己的阿里云盘中转缓存资源，可以实现大量的资源在线播放。
docker搭建elk
08-20
Docker可以很方便地搭建ELK（Elasticsearch, Logstash, Kibana）环境。以下是一个简单的步骤： 1. 首先，确保你已经安装了Docker和Docker ...你可以通过修改`logstash.conf`文件来配置Logstash接收和处理日志数据。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值