ELK日志分析系统(2)--logstash文件输出、日志服务器伪装、多行过滤插件、grok过滤插件

最新推荐文章于 2023-02-24 20:27:29 发布
最新推荐文章于 2023-02-24 20:27:29 发布
阅读量416 收藏 3
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45777669/article/details/117389030
版权

文章目录

一、logstash文件输出

  • logstash在采集数据完成后会把进度保存到sincedb文件中，假如我们选择将数据输出到elastic中，这时如果在elastic中将数据删除，然后用logstash采集同样的数据，这时候只会采集最新更改的信息，而之前重复的信息将不会被采集，这时候就可能造成数据的缺失
  • 因此我们需要采集同样的信息并且把最新的数据也包含进去的话需要先删除对应的sincedb文件，然后再用logstash采集
  • logstash保存进度到sincedb中是为了防止在重启logstash进行采集信息后，造成采集信息冗余

sincedb文件一共6个字段：

  1. inode编号
  2. 文件系统的主要设备号
  3. 文件系统的次要设备号
  4. 文件中的当前字节偏移量
  5. 最后一个活动时间戳（浮点数）
  6. 与此记录匹配的最后一个已知路径
[root@server1 logstash]# cd conf.d/
[root@server1 conf.d]# /usr/share/logstash/bin/logstash -f /etc/logstash/conf.d/demo.conf

[root@server1 conf.d]# cd /usr/share/logstash/data/plugins/inputs/file/
[root@server1 file]# l.
.  ..  .sincedb_452905a167cf4509fd08acb964fdb20c
[root@server1 file]# cat .sincedb_452905a167cf4509fd08acb964fdb20c
13398509 0 64768 287553 1622188993.191149 /var/log/messages
[root@server1 file]# cd /var/log/
[root@server1 log]# ls -i messages
13398509 messages

注意第一次采集的数据大小
在这里插入图片描述
未删除sincedb文件进行采集
在这里插入图片描述
数据大小很明显变小，采集信息有缺失。
在这里插入图片描述
在这里插入图片描述
在日志文件中添加信息
在这里插入图片描述
logstash可以同步采集，因为定义logstash采集的是系统的日志信息。
在这里插入图片描述

在这里插入图片描述
logstash新采集的保存在elasticsearch中的信息。
在这里插入图片描述

二、logstash伪装成日志服务器

利用Syslog输入插件，将logstash伪装成日志服务器，直接接受远程日志.

1. Syslog输入插件的使用
[root@server1 file]# cd /etc/logstash/conf.d/
[root@server1 conf.d]# ls
demo.conf
[root@server1 conf.d]# vim demo.conf 
input {
        syslog {
                port => 514		        #日志收集端口（默认的，可以不用添加）
        }
}

[root@server1 conf.d]# /usr/share/logstash/bin/logstash -f /etc/logstash/conf.d/demo.conf
[root@server1 ~]# netstat -antlp | grep :514
tcp6       0      0 :::514                  :::*                    LISTEN      4674/java   
[root@server1 ~]# netstat -antulp | grep :514
tcp6       0      0 :::514                  :::*                    LISTEN      4674/java           
udp        0      0 0.0.0.0:514             0.0.0.0:*                           4674/java

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

2.远程日志同步

将server2、server3上的日志远程同步到server1的logstash中

# server2 3 做同样操作
[root@server2 ~]# vim /etc/rsyslog.conf 
[root@server2 ~]# systemctl restart rsyslog

在这里插入图片描述
在这里插入图片描述
日志上传到指定远程主机
在这里插入图片描述
保证server1上的logstash是开启状态
在这里插入图片描述

[root@server2 ~]# logger server2 ##server2上添加新日志信息

在这里插入图片描述
server3上做同样的配置即可
在这里插入图片描述

三、多行过滤插件

多行过滤可以把多行日志记录合并为一行事件

1.示例
[root@server1 conf.d]# pwd
/etc/logstash/conf.d
[root@server1 conf.d]# vim test.conf
input {
	stdin {
	codec => multiline {            #多行录入
		pattern => "^EOF"           #以EOF开头
		negate => true              #是否匹配到，true表示匹配到了
		what => previous            #匹配到了之后要做的事情：previous表示向上合并
		}
	}
}

output {
	stdout {}
}
[root@server1 conf.d]# /usr/share/logstash/bin/logstash -f /etc/logstash/conf.d/test.conf ##以指定文件启动logstash

在这里插入图片描述
在这里插入图片描述
符合条件向上合并，将输入合并成一行
在这里插入图片描述
在这里插入图片描述

2.采集完整日志信息

在特殊场景下，有些完整信息的输出是多行展示，这时候如果不设置这种向上匹配并合并输出的机制，则会导致采集的信息不完整

my-es.log作为采集信息示，因为这个文件中信息输出是多行的。

[root@server1 conf.d]# ll /var/log/elasticsearch/my-es.log 
-rw-r--r-- 1 elasticsearch elasticsearch 89907 May 28 12:45 /var/log/elasticsearch/my-es.log
[root@server1 conf.d]# vim es.con
input {
       file {
                path => "/var/log/elasticsearch/my-es.log"
                start_position => "beginning"
        }
}
output {

        stdout { }
        elasticsearch {
                hosts => ["192.168.0.1:9200"]
                index => "eslog-%{+YYYY.MM.dd}"    
        }
}
[root@server1 conf.d]# /usr/share/logstash/bin/logstash -f /etc/logstash/conf.d/es.conf

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
查看采集到的信息，发现信息是不完整的
在这里插入图片描述

查看目标文件信息
[root@server1 ~]# cd /var/log/elasticsearch/
[root@server1 elasticsearch]# less my-es.log

在这里插入图片描述
在这里插入图片描述

指定匹配规则
[root@server1 conf.d]# vim es.conf 
                codec => multiline {
                pattern => "^\["
                negate => true
                what => previous
                }
[root@server1 conf.d]# cd /usr/share/logstash/data/plugins/
[root@server1 plugins]# ls
inputs
[root@server1 plugins]# cd inputs/file/
[root@server1 file]# ls
[root@server1 file]# l.
.  ..  .sincedb_452905a167cf4509fd08acb964fdb20c  .sincedb_d5a86a03368aaadc80f9eeaddba3a9f5
[root@server1 file]# cat .sincedb_d5a86a03368aaadc80f9eeaddba3a9f5
5032853 0 64768 89907 1622194801.158707 /var/log/elasticsearch/my-es.log
[root@server1 file]# rm -fr .sincedb_d5a86a03368aaadc80f9eeaddba3a9f5
[root@server1 file]# l.
.  ..  .sincedb_452905a167cf4509fd08acb964fdb20c
[root@server1 file]# cat .sincedb_452905a167cf4509fd08acb964fdb20c
13398509 0 64768 287759 1622190845.260607 /var/log/messages

[root@server1 file]# /usr/share/logstash/bin/logstash -f /etc/logstash/conf.d/es.conf

在这里插入图片描述
采集前需要将之前的数据删除，并删除sincedb进度文件，以为能够采集到全部的数据。
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
采集完整信息
在这里插入图片描述

四、grok过滤插件

使用grok插件我们可以对采集的数据做预处理，过滤我们想要的信息

1.内核参数优化
[root@server1 7.6]# cd /proc/sys/vm/
[root@server1 vm]# cat swappiness 
30
[root@server1 vm]# echo 10 > swappiness  #减少swap的利用率，尽可能的使用物理内存，提高运行速度
[root@server1 vm]# cat swappiness 
10

在这里插入图片描述

2.grok过滤
安装httpd，编辑测试页面
[root@server1 elasticsearch]# yum install -y httpd
[root@server1 elasticsearch]# systemctl start httpd
[root@server1 elasticsearch]# cd /var/www/html/
[root@server1 html]# ls
[root@server1 html]# echo server1 > index.html
[root@server1 html]# cat /var/log/httpd/access_log

在这里插入图片描述

做负载，产生日志
[root@foundation Desktop]# ab -c1 -n100 http://192.168.0.1/index.html

在这里插入图片描述

grok过滤示例
[root@server1 html]# chmod 755 /var/log/httpd/
[root@server1 html]# ll -d /var/log/httpd/
drwxr-xr-x 2 root root 41 May 28 18:49 /var/log/httpd/
[root@server1 html]# ll /var/log/httpd/access_log 
-rw-r--r-- 1 root root 10200 May 28 18:51 /var/log/httpd/access_log

[root@server1 html]# cd /etc/logstash/conf.d/
[root@server1 conf.d]# ls
demo.conf  es.conf  test.conf
[root@server1 conf.d]# vim test.conf   #编辑配置文件
input {
	stdin {}
}
filter {
	grok {
	match => { "message" => "%{IP:client} %{WORD:method} %{URIPATHPARAM:request} %{NUMBER:bytes} %{NUMBER:duration}" }
	}
}
output {
	stdout {}
}
[root@server1 conf.d]# /usr/share/logstash/bin/logstash -f /etc/logstash/conf.d/test.conf 
55.3.244.1 GET /index.html 15824 0.043

在这里插入图片描述
在这里插入图片描述
输入的信息被分段截取，相当于做了预处理
在这里插入图片描述

编辑apache.conf文件，并进行logstash日志采集试验
[root@server1 patterns]# vim httpd 
[root@server1 patterns]# pwd
/usr/share/logstash/vendor/bundle/jruby/2.5.0/gems/logstash-patterns-core-4.1.2/patterns
[root@server1 patterns]# ll httpd 
-rw-r--r-- 1 logstash logstash 987 May 28 19:20 httpd
[root@server1 patterns]# vim /etc/httpd/conf/httpd.conf
[root@server1 patterns]# cd /etc/logstash/conf.d/
[root@server1 conf.d]# ls
apache.conf  demo.conf  es.conf  test.conf
[root@server1 conf.d]# vim apache.conf 
[root@server1 conf.d]# vim apache.conf 
input {
       file {
                path => "/var/log/httpd/access_log"
                start_position => "beginning"
        }
}

filter {
        grok {
                match => { "message" => "%{ HTTPD_COMBINEDLOG }" }
        }
}


output {

        stdout { }

        elasticsearch {
                hosts => ["192.168.0.1:9200"]
                index => "apachelog-%{+YYYY.MM.dd}"
        }
}
[root@server1 conf.d]# /usr/share/logstash/bin/logstash -f /etc/logstash/conf.d/apache.conf

在这里插入图片描述
在这里插入图片描述
apache日志文件默认的日志定制格式
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
查看采集到的信息，信息已做过预处理，字段信息全部单独被截取出来
在这里插入图片描述

dandan-99
关注
  • 0
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Logstash数据处理服务的过滤插件Grok正则匹配概念以及正则语法
江晓龙的博客
07-13 876
收集来的日志往往都是非结构的日志，当然也可以通过配置将日志输出成结构化日志，Nginx就支持将日志输出成结构化的功能，但是很多一些开源软件是不支持将日志结构化的，针对这种需求，我们就可以使用正则将日志数据输出成功格式化数据。Grok正则插件是作用通过正则表达式将非结构的日志输出成结构化的日志，便于我们在kibana上对日志数据进行筛选。使用Grok正则匹配配置之前，需要对正则表达式有一定的基础。Grok插件自带了一些内置的正则匹配模式，将常用的一些匹配表达式（获取IP、文本字符串、请求URL、数字）写入到了
logstash 多行合并
zhaoyangjian724的专栏
11-29 1173
logstash
ELK（日志系统）——logstash数据采集+Syslog输入插件+grok/多行过滤插件
qq_46089299的博客
06-13 2017
一、logstash简介 Logstash是一个开源的服务器端数据处理管道。 logstash拥有200多个插件，能够同时从多个来源采集数据，转换数据，然后将数据发送到您最喜欢的 “存储库” 中。（大多都是 Elasticsearch。） Logstash管道有两个必需的元素，输入和输出，以及一个可选元素过滤器。 输入：采集各种样式、大小和来源的数据 Logstash 支持各种输入选择 ，同时从众多常用来源捕捉事件。 能够以连续的流式传输方式，轻松地从您的日志、指标、Web 应用、数据存储以及各种 AWS
Logstash系列：Grok匹配多行
NIO4444
06-03 3349
Grok匹配多行，在头部加上： (?m)^%{WORD}
ELK 实现日志检索
sumguo10qq的博客
02-24 2967
elk
Logstash合并多行日志为一行（Tomcat日志的合并和grok处理）
qq_40673345的博客
04-01 2511
tomcat的catalina.out日志如下： [root@localhost logs]# cat to_catalina.log -----------------alarm start------------------------ --------------mail start--------------- -----------------alarm start---------...
采用ELK搭建日志分析系统.docx
最新发布
10-13
ELK（Elasticsearch, Logstash, Kibana）栈是一种流行的日志分析和管理系统，它可以帮助企业收集、处理、存储和展示来自不同来源的日志数据。本文将详细介绍如何使用ELK搭建日志分析系统。 首先，我们从基础开始，...
elk提取系统日志配置说明，附带java版日志查询过滤源码
07-11
1、filebeat配置：读取指定日志文件的日志信息，对error类型的日志进行多行合并 2、elasticsearch配置：支持elasticsearch中文分词，日志模版配置 3、logstash配置：配置grok表达式对日志内容字段进行提取（包括日志...
logstash-filter-grok-4.0.4.zip
01-15
Grok 是 Logstash 中的一个核心过滤器插件，专门用于解析和提取非结构化日志数据中的关键信息，使其转化为结构化数据，便于后续处理和分析。 在 Logstash 4.0.4 版本中，Grok 过滤器插件扮演着至关重要的角色。它...
elk(都是6.2.4重点-版本2-收集nginx日志-无filebeat
07-09
- 创建一个 Logstash 配置文件，定义输入插件（读取 Nginx 日志），过滤器（处理日志数据），以及输出插件（将数据发送到 Redis）。 例如： ```ruby input { file { path => "/var/log/nginx/access.log" start...
ELK---STACK:安装并使用Logstash，elasticsearch，kibana收集日志
05-26
例如，你可以配置Logstash从指定的日志文件中读取数据，使用Grok过滤器解析日志格式，然后将结果发送到Elasticsearch。日志解析模板可以根据实际日志格式定制。 **数据可视化** 在Kibana中，你可以创建新的指数...
Elastic Stack（ELK）宝典之：Logstash输入与输出
weixin_44601635的博客
11-18 1391
文/田雪松 Logstash管道可以配置多个输入插件，这可以将不同源头的数据整合起来做统一处理。在分布式系统中，数据都分散在不同的容器或不同的物理机上，每一份数据往往又不完整，需要类似Logstash这样的工具将数据收集起来。比如在微服务环境下，日志文件就分散在不同机器上，即使是单个请求的日志也有可能分散在多台机器上。如果不将日志收集起来，就无法查看一个业务处理的完整日志。 Logstash管道...
日志分析系统ELK之Logstash
Tuki来了
08-25 816
Logstash什么是ELKLogstashKibana 什么是ELK 一般我们需要进行日志分析场景：直接在日志文件中 grep、awk 就可以获得自己想要的信息。但在规模较大的场景中，此方法效率低下，面临问题包括日志量太大如何归档、文本搜索太慢怎么办、如何多维度查询。需要集中化的日志管理，所有服务器上的日志收集汇总。常见解决思路是建立集中式日志收集系统，将所有节点上的日志统一收集，管理，访问。 一般大型系统是一个分布式部署的架构，不同的服务模块部署在不同的服务器上，问题出现时，大部分情况需要根据问题暴露的
logstash java异常_logstash合并java多行日志异常
weixin_35411438的博客
02-13 504
{"message" => "[2016-11-01 16:48:24,946] [ERROR] c.b.t.biz.back.billing.BillingBiz 200 -- [f8b9e646-363e-4976-ac83-944a99e159ac] failed transferFee EXCEPTION :c.b.t.m.common.exception.FrontParamExc...
Springboot通过log4j2+logstash整合日志到Elasticsearch中
zuijiuhengdao的博客
09-09 4776
Springboot通过log4j2+logstash整合日志到Elasticsearch， springboot+log4j2+ELK(Elasticsearch+Logstash+Kibana)简单整合
logstash 和 filebeat多行日志 合并
cagezxy的博客
11-17 2013
filebeat logstash 配置多行日志 合并
运维必备——ELK日志分析系统
礁之的博客
12-17 1万+
日志分析是运维工程师解决系统故障、发现问题的主要手段
Logstash——multiline 插件，匹配多行日志
热门推荐
我的地盘
09-22 2万+
Logstash——multiline 插件，匹配多行日志
帮我写一个elk日志系统脚本
03-14
我可以回答这个问题。...这个脚本的作用是将Nginx的访问日志收集到ELK日志系统中，并使用Grok插件对日志进行解析和过滤，最后将处理后的日志存储到Elasticsearch中。这个脚本可以根据实际需求进行修改和扩展。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值