ELK日志分析平台(三）——Logstash简介+安装+常用插件示例

最新推荐文章于 2024-08-16 18:44:59 发布
最新推荐文章于 2024-08-16 18:44:59 发布
阅读量1.2k 收藏
点赞数 1
分类专栏： ELK
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_44658961/article/details/109363953
版权

什么是Logstash

Logstash是数据处理管道，它的主要作用是做数据采集。

logstash拥有200多个插件，能够同时从多个来源采集数据，转换数据，然后将数据发送到的 “存储库” 中。（大多都是 Elasticsearch。）

Logstash管道有两个必需的元素，输入和输出，以及一个可选元素过滤器。

在这里插入图片描述

输入： 采集各种样式、大小和来源的数据

Logstash 支持各种输入选择 ，同时从众多常用来源捕捉事件。

能够以连续的流式传输方式，轻松地从日志、指标、Web 应用、数据存储以及各种 AWS 服务采集数据。

过滤器：实时解析和转换数据

数据从源传输到存储库的过程中，Logstash 过滤器能够解析各个事件，识别已命名的字段以构建结构，并将它们转换成通用格式，以便更轻松、更快速地分析和实现商业价值。

利用 Grok 从非结构化数据中派生出结构
从 IP 地址破译出地理坐标
将 PII 数据匿名化，完全排除敏感字段
简化整体处理，不受数据源、格式或架构的影响

输出：选择您的存储库，导出您的数据

尽管 Elasticsearch 是我们的首选输出方向，能够为我们的搜索和分析带来无限可能，但它并非唯一选择。

Logstash 提供众多输出选择，您可以将数据发送到您要指定的地方，并且能够灵活地解锁众多下游用例。

Logstash安装与配置

软件下载
https://elasticsearch.cn/download/
logstash安装
# rpm -ivh jdk-8u171-linux-x64.rpm
# rpm -ivh logstash-7.6.1.rpm

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
file 输出插件

1.标准输入到标准输出

/usr/share/logstash/bin/logstash -e 'input { stdin { } } output { stdout {} }'

在这里插入图片描述
2.文件指定标准输入输出
在这里插入图片描述

在这里插入图片描述
-f选择指定文件就可
在这里插入图片描述

3.将输入数据指定文件输出

# vim /etc/logstash/conf.d/file.conf
input {
        stdin { }
}
output {
        file {
                path => "/tmp/logstash.txt"        	#输出的文件路径
                codec => line { format => "custom format: %{message}"}							#定制数据格式
        }
}

/usr/share/logstash/bin/logstash -f /etc/logstash/conf.d/file.conf

在标准输入中键入后可以查看：
# cat /tmp/logstash.txt

在这里插入图片描述

在这里插入图片描述
elasticsearch输出插件

1.标准输入到es主机

# vim /etc/logstash/conf.d/es.conf
input {
        stdin { }
}
output {
        elasticsearch {
                hosts => "192.168.122.101:9200"    #输出到的ES主机与端口
                index => "logstash-%{+YYYY.MM.dd}"   #定制索引名称
        }
}

在这里插入图片描述
在这里插入图片描述

直接输出到es主机
在这里插入图片描述
删除创建的信息索引
在这里插入图片描述
index数值为unknown
在这里插入图片描述
查看输出到主机的数据
在这里插入图片描述

也可以将数据输出到终端，然后将数据输出到主机上去

# vim /etc/logstash/conf.d/es.conf
input {
        stdin { }
}
output {
       stdout { }
        elasticsearch {
                hosts => "192.168.122.101:9200"    #输出到的ES主机与端口
                index => "logstash-%{+YYYY.MM.dd}"   #定制索引名称
        }
}

file输入插件

1.把文件内容输出到es主机

# vim /etc/logstash/conf.d/es.conf

input {
        file {
		path => "/var/log/messages"
		start_position => "beginning"
	}
}
output {
        stdout {}
        elasticsearch {
                hosts => "192.168.122.101:9200"
                index => "syslog-%{+YYYY.MM.dd}"
        }
}

logstash程序是以普通用户身份来运行的要确保可以操作该文件

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
浏览器中查看收集到的日志数据

在这里插入图片描述

logstash如何区分设备、文件名、文件的不同版本

logstash会把进度保存到sincedb文件中

在这里插入图片描述

sincedb文件内容解释

# cat .sincedb_452905a167cf4509fd08acb964fdb20c
34507 0 64768 247396 1603976120.589161 /var/log/messages

sincedb文件一共6个字段

20297inode编号
0文件系统的主要设备号
64768文件系统的次要设备号
119226文件中的当前字节偏移量
1551859343.6468308最后一个活动时间戳（浮点数）
/var/log/messages与此记录匹配的最后一个已知路径

再一次执行传输日志数据的命令时，不会重复执行，因为文件中没有变动的数据，指针走到结尾，重启服务也不会改变。
当删除es主机的索引，要创建新的索引也不能重复执行。
当删除.sincedb_452905a167cf4509fd08acb964fdb20c文件时，可以重复执行。

syslog输入插件

logstash可以伪装成日志服务器，直接接受远程日志。

# vim /etc/logstash/conf.d/syslog.conf
input {
        syslog {
                type => "rsyslog"
                port => 514		#日志收集端口
        }
}
output {
        stdout { }
}

指定配置文件运行

# /usr/share/logstash/bin/logstash -f /etc/logstash/conf.d/syslog.conf
# netstat -antulp |grep :514
tcp6       0      0 :::514                  :::*                    LISTEN      3171/java           
udp        0      0 0.0.0.0:514             0.0.0.0:*                           3171/java

重新打开一个终端

在这里插入图片描述
配置server2客户端传入日志

# vim /etc/rsyslog.conf 
*.*         @@192.168.122.201:514    
# systemctl restart rsyslog

此时查看logstash终端上，已经开始采集server2的日志

在这里插入图片描述

多行过滤插件

多行过滤可以把多行日志记录合并为一行事件

# vim /etc/logstash/conf.d/multiline.conf
input {
        stdin {
        codec => multiline {
                pattern => "^EOF"
                negate => true
                what => previous
                }
        }
}
output {
 stdout {}
}

在这里插入图片描述

遇见EOF关键字会向上合并

多行过滤插件过滤远程主机的日志

在这里插入图片描述

[root@git1 conf.d]# vim es.conf 


input {
        file {
                path => "/var/log/my-es.log"
                start_position => "beginning"
                codec => multiline {
                pattern => "^\[" 
                negate => true
                what => previous
        }
      }  
}
output {
      
        elasticsearch {
                hosts => ["192.168.122.101:9200"]
                index => "server2log-%{+YYYY.MM.dd}" ##保存在es的名字
        }
}

==文件每行是以[开头，所以有pattern => “^[” ==
在这里插入图片描述

[root@git1 conf.d]#  /usr/share/logstash/bin/logstash -f /etc/logstash/conf.d/es.conf

在这里插入图片描述

grok过滤插件



# vim /etc/logstash/conf.d/grok.conf

input {
	stdin {}
}
filter {
	grok {
	match => { "message" => "%{IP:client} %{WORD:method} %{URIPATHPARAM:request} %{NUMBER:bytes} %{NUMBER:duration}" }
	}
}
output {
	stdout {}
	}

指定配置文件运行

# /usr/share/logstash/bin/logstash -f /etc/logstash/conf.d/grok.conf
查看输出
55.3.244.1 GET /index.html 15824 0.043

将非结构化数据转变为结构化数据

在这里插入图片描述
apache服务日志过滤实战

# vim /etc/logstash/conf.d/apache.conf

 

input {
        file {
		path => "/var/log/httpd/access_log"
		start_position => "beginning"
	}
}
filter{
	grok {
		match => { "message" => "%{HTTPD_COMBINEDLOG}" }
	}
}
output {
        elasticsearch {
                hosts => "172.25.0.13:9200"
                index => "apachelog-%{+YYYY.MM.dd}"
        }
}

在这里插入图片描述

[root@git1 conf.d]# systemctl start httpd
[root@git1 conf.d]# cd /var/www/html/
[root@git1 html]# ls
[root@git1 html]# echo hello > index.html

在这里插入图片描述

修改权限

root@git1 html]# cd /var/log/httpd/
[root@git1 httpd]# ll
总用量 16
-rw-r--r-- 1 root root 10400 10月 29 22:52 access_log
-rw-r--r-- 1 root root   814 10月 29 22:49 error_log
[root@git1 httpd]# chmod 755 access_log
[root@git1 httpd]# chmod 755 error_log

日志格式的模块

[root@git1 httpd]# cd /usr/share/logstash/vendor/bundle/jruby/2.3.0/gems/logstash-patterns-core-4.1.2/patterns/
[root@git1 patterns]# ls
aws     exim           httpd         maven                 nagios      ruby
bacula  firewalls      java          mcollective           postgresql  squid
bind    grok-patterns  junos         mcollective-patterns  rails
bro     haproxy        linux-syslog  mongodb               redis

在这里插入图片描述

[root@git1 conf.d]# /usr/share/logstash/bin/logstash -f /etc/logstash/conf.d/apache.conf

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

qq_44658961
关注
专栏目录
ELK日志分析系统（ELasticsearch+Logstash+Kibana）——理论+实例
m0_47452405的博客
10-29 730
文章目录一、ELK日志分析系统简介二、 Elasticsearch介绍三、Logstash介绍四、Kibana介绍五、部署ELK日志分析系统5.1配置elasticsearch环境5.2安装logstash5.3在node2 节点安装kibana5.4对接Apache 一、ELK日志分析系统简介 日志分析是运维工程师解决系统故障，发现问题的主要手段。日志主要包括系统日志、应用程序日志和安全日志。系统运维和开发人员可以通过日志了解服务器软硬件信息、检查配置过程中的错误及错误发生的原因,经常分析日志可以了解服务
ELK 集群 + Redis 集群 + Nginx ,分布式的实时日志（数据）搜集和分析的监控系统搭建，简单上手使用
Null的博客
04-28 1022
简述 ELK实际上是三个工具的集合，ElasticSearch+Logstash+Kibana，这三个工具组合形成了一套实用、易用的监控架构，很多公司利用它来搭建可视化的海量日志分析平台。 官网下载地址：https://www.elastic.co/downloads Elasticsearch 是一个基于Apache Lucene(TM)的开源搜索引擎 ，它的特点有：分布式，零配...
logstash-filter-grok:Grok插件可将非结构化（日志）数据解析为结构化的内容
05-07
Logstash插件 这是的插件。 它是完全免费和完全开源的。 该许可证是Apache 2.0，这意味着您可以随意使用它，但是您可以通过任何方式使用它。 文献资料 Logstash提供了自动为该插件生成文档的基础结构。 我们使用asciidoc格式编写文档，因此源代码中的所有注释都将首先转换为asciidoc，然后转换为html。 所有插件文档都放置在一个。 对于格式代码或配置示例，可以使用asciidoc [source,ruby]指令 有关更多asciidoc格式化技巧，请参见此处的出色参考 需要帮忙？ 需要帮忙？ 在freenode IRC或论坛上尝试#logstash。 发展 1.插件开发与测试 代码 首先，您需要安装了Bundler gem的JRuby。 从GitHub 组织创建一个新的插件或克隆并存在。 我们还提供了。 安装依赖项 bundle install 测试
LogStash
难得糊涂
08-09 584
我觉得其实可以使用自定义Append的方式来收集日志.然后扔给JMS,在由后台进行消费入库.cuiyaonan2000@163.com。
logstash详解
最新发布
qq_44027353的博客
08-16 1102
Logstash通过管道完成数据的采集与处理，管道配置中包含input、output和filter（可选）插件，input和output用来配置输入和输出数据源、filter用来对数据进行过滤或预处理。Logstash 是免费且开放的服务器端数据处理管道，能够从多个来源采集数据，转换数据，然后将数据发送到您最喜欢的存储库中。通过Logstash过滤器解析各个事件，识别已命名的字段来构建结构，并将它们转换成通用格式，最终将数据从源端传输到存储库中。机器宕机，数据也不会丢失;
Logstash
sanjiang521的博客
09-15 117
Logstash&kibanaLogstash简介具备实时数据传输能力的管道在ELK中作为日志收集器安装LogstashLogstash如何工作Logstash对任何事件处理分为三个阶段编解码器运行Logstash的两种方式Logstash配置语法配置文件结构Logstash数据类型输入插件file：从文件中获得事件流编解码器jsonrubydebug过滤器grok：使用正则表达式解析任意文本和结构grok自定义模式输出插件 Logstash简介 具备实时数据传输能力的管道 支持多种数据源输入 支持
logstash6.3.0
07-06
Logstash 是一个强大的数据收集、转换和转发工具，广泛用于日志管理和实时数据分析。它属于 ELK（Elasticsearch、Logstash、Kibana）堆栈的重要组成部分，这个堆栈是许多企业和组织用来管理和可视化其日志数据的首选...
日志管理与分析 - Elk与Splunk简介
# 1. 引言 ## 1.1 IT系统中的日志管理与分析的重要性 IT系统中的日志管理与分析是一个关键的组成部分，它对于系统的运维和故障排查...在市场上有许多成熟的日志管理与分析工具，其中ELK（Elasticsearch、Logstash、K
logstash-6.5.4-syslog.zip
08-08
在本案例中，我们关注的是 Logstash 的一个特定版本——6.5.4，以及它如何将日志数据输出到 syslog。 Syslog 是一种广泛使用的标准日志记录协议，允许系统和服务在本地或远程日志服务器上记录事件。Logstash 提供了...
Logstash 介绍
weixin_30555125的博客
09-18 119
Logstash 介绍: Logstash 是一个开源的数据收集引擎具有实时管道能力, Logstash 可以动态的统一数据从不同的来源和使数据规范化到你选择的目的地。 当Logstash 起初驾驭创新到日志收集,它的功能很好的扩展超出使用案例。 任何事件的类型可以被丰富和改变使用一个input,filter和输出引擎,使用很多的本地的代码简化了采集的过程。 Logstash...
logstash
windavi的博客
04-30 289
1 官网 https://www.elastic.co/guide/en/logstash/current/index.html 2 安装 2.1 上传 logstash-2.3.1.tar.gz 2.2 解压 tar -zxvf logstash-2.3.1.tar.gz mv logstash-2.3.1 logstash 3 first demo 通过命令执行logstash的进程...
什么是Logstash
weixin_45162862的博客
03-31 910
Logstash 是免费且开放的服务器端数据处理管道，能够从多个来源采集数据，转换数据，然后将数据发送到您最喜欢的存储库中。
ELK日志分析平台搭建指南：Elasticsearch+Logstash+Kibana+Beats
《ELK实时日志分析平台环境搭建手册》是一份详细的文档，介绍了如何在2019年3月至4月期间安装和配置ELK Stack（Elasticsearch、Logstash和Kibana）这一流行的日志管理和分析平台。该平台主要用于实时监控和分析大...
评论 7
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值