Elasticsearch与Logstash的日志采集（应用模块、按格式输出）

最新推荐文章于 2024-05-26 11:38:08 发布
最新推荐文章于 2024-05-26 11:38:08 发布
阅读量1.2k 收藏 2
点赞数 1
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_41927237/article/details/82119629
版权

Logstash 是一个完全开源的工具,他可以对你的日志进行收集、过滤,并将其存储供以后使用。

此篇博客是在前一篇博客搭好集群和安装好head 插件的基础上做的

具体请看Elasticsearch单机存储和多节点分布式存储配置

一、数据采集

[root@server1 ~]# cd elk/
[root@server1 elk]# rpm -ivh logstash-2.3.3-1.noarch.rpm

终端录入，终端输出

$ cd /opt/logstash/bin
[root@server1 bin]# /opt/logstash/bin/logstash -e 'input { stdin {}} output { stdout {} }'

这里写图片描述
conc格式转换，控制输出:在终端上输出 

[root@server1 bin]# /opt/logstash/bin/logstash -e 'input { stdin {}} output { stdout { codec => rubydebug } }'

这里写图片描述

二、数据采集的两种方式

1、直接在终端操作输出
指定主机索引，在终端上输出 

[root@server1 bin]# /opt/logstash/bin/logstash -e 'input { stdin {}} output { elasticsearch { hosts => ["172.25.10.1"] index => "logstash-%{+YYYY.MM.dd}" } stdout { codec => rubydebug } }'

这里写图片描述
浏览器访问172.25.10.1:9200/_plugin/head/
这里写图片描述
2、 将操作内容编辑进文件，通过文件来输出

编辑es.conf文件
[root@server1 bin]# cd /etc/logstash/conf.d/
[root@server1 conf.d]# vim es.conf
input {
        stdin {}
}

output {            ##调用2个模块，2个地方输出
        elasticsearch {
                hosts => ["172.25.10.1"]
                index => "logstash-%{+YYYY.MM.dd}"
        }

        stdout {
                codec => rubydebug
        }
}
执行
[root@server1 conf.d]# /opt/logstash/bin/logstash -f /etc/logstash/conf.d/es.conf

这里写图片描述
这里写图片描述

三、file模块

1、根据上一个实验，我们调用增加一个file模块，使3个地方输出

编辑es.conf文件
[root@server1 bin]# cd /etc/logstash/conf.d/
[root@server1 conf.d]# vim es.conf
input {
        stdin {}
}

output {                ##调用3个模块，3个地方输出
        elasticsearch {
                hosts => ["172.25.10.1"]
                index => "logstash-%{+YYYY.MM.dd}"
        }

        stdout {
                codec => rubydebug
        }

        file {
                path => "/tmp/testfile"
                codec => line { format => "custom format: %{message}"}
        }
}
执行
[root@server1 conf.d]# /opt/logstash/bin/logstash -f /etc/logstash/conf.d/es.conf 
到指定文件中查看
[root@server1 conf.d]# cd /tmp/
[root@server1 tmp]# cat testfile

这里写图片描述
文件中查看
这里写图片描述
网页中查看
这里写图片描述
2、日志权限

查看elasticsearch权限
[root@server1 tmp]# cat /etc/passwd
elasticsearch:x:498:499:elasticsearch user:/home/elasticsearch:/sbin/nologin
logstash:x:497:498:logstash:/opt/logstash:/sbin/nologin
查看日志权限
[root@server1 tmp]# ll -d /var/log/
drwxr-xr-x. 6 root root 4096 Aug 25 11:21 /var/log/
[root@server1 tmp]# ll -d /var/log/messages 
-rw------- 1 root root 64632 Aug 25 11:21 /var/log/messages

3、sincedb

编辑message.conf文件
[root@server1 tmp]# cd /etc/logstash/conf.d/
[root@server1 conf.d]# cp es.conf message.conf
[root@server1 conf.d]# vim message.conf 
input {
        file {
                path => "/var/log/messages"
                start_position => "beginning"    ##从文件的开头开始
        }
}

output {
        elasticsearch {
                hosts => ["172.25.10.1"]
                index => "logstash-%{+YYYY.MM.dd}"
        }

        stdout {
                codec => rubydebug
        }
}
执行
[root@server1 conf.d]# /opt/logstash/bin/logstash -f /etc/logstash/conf.d/message.conf

这里写图片描述
打开另一个Shell连接server1添加字符
这里写图片描述
在网页中查看
这里写图片描述
server1

shell1:
执行
[root@server1 conf.d]# /opt/logstash/bin/logstash -f /etc/logstash/conf.d/message.conf
shell2:
[root@server1 ~]# logger V1
在shell1中查看

shell1执行命令后在shell2输入字符
这里写图片描述
shell执行的命令中自动出现以下内容
这里写图片描述
查看隐藏文件sincedb,前面是文件inode id，与/var/log/messages的inode id相同。当再次添加字符后文件变更：后面的数字改变。这是避免文件的重复加载
这里写图片描述
再次执行命令

shell1:
[root@server1 conf.d]# /opt/logstash/bin/logstash -f /etc/logstash/conf.d/message.conf

shell2中添加字符
这里写图片描述
Shell1中自动出现：
这里写图片描述
再次查看隐藏文件：后面的数字改变
这里写图片描述

四、syslog模块

日志传送
server1（master端）为日志收集服务器，通过配置server1和server2开启514端口 ，将server2和日志信息往server1终端输出
server1
shell1:

编辑message.conf文件
[root@server1 ~]# vim /etc/logstash/conf.d/message.conf 
input {
        syslog {
                port => 514   ##开启514端口
        }
}

output {
        elasticsearch {
                hosts => ["172.25.10.1"]
                index => "logstash-%{+YYYY.MM.dd}"
        }

        stdout {
                codec => rubydebug
        }
}
运行
[root@server1 ~]# /opt/logstash/bin/logstash -f /etc/logstash/conf.d/message.conf

shell2:

[root@server1 ~]# netstat -antlp |grep :514
tcp        0      0 :::514                      :::*                        LISTEN      1482/java

server2中修改日志设置
把日志通过514端口往server1终端输出

[root@server2 ~]# vim /etc/rsyslog.conf     
*.*     @@172.25.10.1:514
[root@server2 ~]# /etc/init.d/rsyslog restart

server1:
shell1中接收到server2的日志
这里写图片描述

五、匹配日志

通过filter进行过滤，符合类型才做多行处理

查看想要过滤的日志
[root@server1 conf.d]# cd /var/log/elasticsearch/
[root@server1 elasticsearch]# cat my-es.log

这里写图片描述

编辑文件
[root@server1 elasticsearch]# vim /etc/logstash/conf.d/message.conf 
input {
        file {
                path => "/var/log/elasticsearch/my-es.log"
                start_position => "beginning"
        }
}

filter {
  multiline {
#    type => "type"
    pattern => "^\["
    negate => true 
    what => "previous"   ##向上匹配
  } 
}

output {
        elasticsearch {
                hosts => ["172.25.10.1"]
                index => "es-%{+YYYY.MM.dd}"
        }

        stdout {
                codec => rubydebug
        }
}
执行
[root@server1 elasticsearch]# /opt/logstash/bin/logstash -f /etc/logstash/conf.d/message.conf

这里写图片描述

六、对APACHE数据的分析和展示

安装Httpd，打开服务

[root@server1 ~]# yum install -y httpd
[root@server1 ~]# /etc/init.d/httpd start

APACHE的日志

[root@server1 ~]# cd /var/log/httpd/
[root@server1 httpd]# ll
total 8
-rw-r--r-- 1 root root 464 Aug 25 14:25 access_log
-rw-r--r-- 1 root root 665 Aug 25 14:25 error_log

编辑test.conf文件

[root@server1 ~]# cd /etc/logstash/conf.d
[root@server1 conf.d]# vim test.conf
input {
        stdin {}
}
filter {
  grok {
    match => { "message" => "%{IP:client} %{WORD:method} %{URIPATHPARAM:request} %{NUMBER:bytes} %{NUMBER:duration}" }
  }
}

output {
        stdout {
                codec => rubydebug
        }
}
执行
[root@server1 conf.d]# /opt/logstash/bin/logstash -f /etc/logstash/conf.d/test.conf 
执行后粘贴以下内容至终端查看
55.3.244.1 GET /index.html 15824 0.043

这里写图片描述

查看日志格式

[root@server1 ~]# vim /opt/logstash/vendor/bundle/jruby/1.9/gems/logstash-patterns-core-2.0.5/patterns/grok-patterns   ##过滤APACHE
[root@server1 ~]# vim /etc/httpd/conf/httpd.conf  ##过滤access_log

这里写图片描述
这里写图片描述
查看上面的日志格式信息编辑message.conf文件

[root@server1 conf.d]# vim message.conf 
input {
        file {
                path => ["/var/log/httpd/access_log","/var/log/httpd/error_log"]
                start_position => "beginning"
        }
}

filter {

        grok {
            match => { "message" => "%{COMBINEDAPACHELOG}" }
        }
}

output {
        elasticsearch {
                hosts => ["172.25.10.1"]
                index => "apache-%{+YYYY.MM.dd}"
        }

        stdout {
                codec => rubydebug
        }
}
执行
[root@server1 ~]# /opt/logstash/bin/logstash -f /etc/logstash/conf.d/message.conf

日志按格式输出
这里写图片描述

猕猴桃没有眼泪
关注
  • 1
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
3. Logstash 网络设备日志；输入-格式化-输出
木棍先生的博客
04-24 1612
================================================================= 1. 日志输入接口 input{ # 输入接口 udp{ #启用UDP协议 type => "syslog" # 类型为syslog host => "100.76.37.69" # 本机对外服务器IP地址 port => 5...
LogStash基础笔记
zhizhong0209的博客
12-05 338
LogStash基础笔记1、LogStash介绍及安装1.1、介绍1.2 、node01机器安装LogStash下载安装包---可以直接将已经下载好的安装包上传到/home/es路径下即可解压1.3、Input插件1.3.1 stdin标准输入和stdout标准输出1.3.2 监控日志文件变化编写脚本检查配置文件是否可用启动服务发送数据其它参数说明1.3.3、jdbc插件第一步：编写脚本第二步：上传mysql连接驱动包到指定路劲第三步：检查配置文件是否可用第四步：启动服务第五步：数据库当中添加数据1.3.4
采用 Logstash 采集 tomcat access 日志和应用程序日志
weixin_34221036的博客
04-30 435
2019独角兽企业重金招聘Python工程师标准>>> ...
Java整合ELK实现日志收集 之 Elasticsearch、Logstash、Kibana
最新发布
myStyle的博客
05-26 1257
Elasticsearch：用于存储收集到的日志信息Logstash：用于收集并处理日志，将日志信息存储到Elasticsearch里面Kibana：通过Web端的可视化界面来查看日志（数据可视化）Logstash 是免费且开放的服务器端数据处理管道，能够从多个来源采集数据，转换数据，然后将数据发送到您最喜欢的存储库中。一、安装 Docker Compose 环境Docker Compose的安装# docker compose安装步骤设置权限。
logstash 启动_Logstash深入-日志收集
weixin_39956182的博客
11-28 587
Logstash收集单个日志到文件中file模块收集日志不难理解，我们的日志通常都是在日志文件中存储的，所以，当我们在使用INPUT插件时，收集日志，需要使用file模块，从文件中读取日志的内容，那么接下来讲解的是，将日志内容输出到另一个文件中，如此一来，我们可以将日志文件同意目录，方便查找。注意：Logstash与其他服务不同，收集日志的配置文件需要我们根据实际情况自己去写。前提：需要Logst...
elasticsearch进行日志信息的采集（按照指定格式）
柠檬精哒博客
08-25 8369
filter表示过滤 终端输入 终端输出stdin rubydebug 改变输出格式 第一类：储存信息到指定文件 [root@server1 tmp]# cd /etc/logstash/conf.d/ [root@server1 conf.d]# vim message.conf input { stdin {} } output { el...
Logstash日志数据采集与ELK可视化分析实战
02-21
基于Logstash的日志数据采集和ELK可视化海量日志分析平台实战（全套视频+课件+代码+讲义+工具），具体内容包括： 01 Logstash的架构及运行流程 02 Logstash的数据采集案例（一） 03 Logstash的数据采集案例（二） 04...
日志文件采集工具filebeat，版本8.2.2
06-14
Filebeat与Elastic Stack（包括Elasticsearch、Kibana和Logstash）的配合使用是其最常见的应用场景。在上述配置中，Filebeat将日志发送至本地运行的Elasticsearch实例。Kibana则可以用来可视化这些日志数据，提供...
ElasticSearch7.6.2 五种工具安装包之一
01-29
Elasticsearch 7.6.2 是一个高度可扩展、高性能的开源全文搜索引擎，广泛用于实时数据分析、日志聚合和搜索应用。它基于 Lucene 库构建，提供了分布式、RESTful 风格的接口，使得操作简单而高效。Elasticsearch 的五...
通过elk收集微服务模块日志.doc
09-27
Filebeat是轻量级的日志数据转发工具，设计用于在服务器上运行，监控特定的日志文件或目录，收集日志事件，并将这些事件转发给Logstash或Elasticsearch。由于其资源占用少，Filebeat常被用来作为边缘设备的数据采集...
logstash6.3.0
07-06
例如，可以使用 syslog 输入插件来收集服务器日志，通过 grok 过滤器解析日志格式，然后利用 Elasticsearch 输出插件将解析后的数据推送到 Elasticsearch 中进行存储和分析。 总的来说，Logstash 6.3.0 是一个关键...
Elasticsearch2.3.3+Logtash2.3.2+Kibana4.5.1 搭建实时日志
weixin_34319374的博客
05-27 153
2019独角兽企业重金招聘Python工程师标准>>> ...
启动elasticsearch时/home/edouardzyc/ELK/elasticsearch-2.3.3/logs/elasticsearch.log (权限不够)
phubing
03-18 3325
启动elasticsearch的时候需要使用非root用户启动， 但是启动Java.io.FileNotFoundException: /home/edouardzyc/ELK/elasticsearch-2.3.3/logs/elasticsearch.log (权限不够) at java.io.FileOutputStream.open(Native Method) ...
【Logstash】日志处理-Logstash的使用
上官玺的博客
10-07 4062
日志可以协助我们的调试和开发。在开发中尽量使用日志的方式来调试，是我们推荐的做法。尽量避免使用System.out.println. 因为很多时候我们调试完毕都要进行删除调试代码。留下会给程序增加运行时间。而日志可以很方便的控制级别就可以控制是否输入，而支持存储的形态很多。比如数据库，文件等。所以日志是我们开发中必不可少的一环。如果级别是：debug ，debug和 info以及error都会输出如果级别是：info ，那么只会打印初：info和error。
使用Logstash过滤插件Grok实现多模式匹配
江晓龙的博客
07-13 1872
一个日志文件很有可能存在多种不同数据格式的日志，tomcat的日志文件中就存在多种不同格式的日志数据。我们需要兼容几种不同格式的日志，就需要使用到grok的多模式匹配了，针对日志数据字段的不同，配置多种格式的正则表达式，将可能出现的数据格式全部都配置一个正则模式，日式数据采集以后，首先使用第一个正则模式去匹配，不兼容则使用第二个正则去匹配，直到最终匹配到对应的内容。grok多模式语法格式： 1）首先编写正则表达式分别匹配出两个数据的字段 2）配置logstash使用grok多模式匹配 成功的将两种不同类型
分布式日志收集之Logstash 笔记（一）
三劫散仙
11-05 1万+
（一）logstash是什么？ logstash是一种分布式日志收集框架，开发语言是JRuby，当然是为了与Java平台对接，不过与Ruby语法兼容良好，非常简洁强大，经常与ElasticSearch，Kibana配置，组成著名的ELK技术栈，非常适合用来做日志数据的分析。 当然它可以单独出现，作为日志收集软件，你可以收集日志到多种存储系统或临时中转系统，如MySQL，redis
Logstash的输入、过滤和输出
lonely_baby的博客
02-28 1063
Logstash 是一个开源数据收集引擎，能够实时处理和转换各种格式的日志和事件数据。它的数据流处理主要分为三个阶段：输入（input）、过滤（filter）和输出（output）。总的来说，Logstash 的输入、过滤和输出可以根据不同的需求组合起来，形成灵活、高效的数据处理流程，以满足不同的业务场景和应用场景。
logstash时间戳转换
热门推荐
小龙在线
12-11 2万+
logstash的date过滤插件，支持从字段里分析日期格式，然后放入@timestamp字段里。
Logstash学习4_Logstash如何将操作日志中的字符串类型的时间转化成@timestamp
wang_zhenwei的博客
11-10 1万+
问题描述 将类似于：2015/8/26 12:05:00:000000 的数据转化成：2015-08-26T04:05:00.000Z 背景 目标： 将操做日志中的字符串类型的时间格式转化成@timestamp 方法： 首先由于日志的格式有很多种，Logstash自带的正则表达式可能不满足我们的需求，但是我们可以通过grok插件引入自己定义的正则表达式。 具体步骤：
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值