ELK日志分析平台——Logstash数据采集

最新推荐文章于 2022-08-26 06:31:27 发布
最新推荐文章于 2022-08-26 06:31:27 发布
阅读量339 收藏
点赞数
文章标签： 运维
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42006882/article/details/106792110
版权

目录

一、logstash简介

  • Logstash是一个开源的服务器端数据处理管道。
  • logstash拥有200多个插件，能够同时从多个来源采集数据，转换数据，然后将数据发送到您最喜欢的 “存储库” 中。（大多都是 Elasticsearch。）
  • Logstash管道有两个必需的元素，输入和输出，以及一个可选元素过滤器。
    在这里插入图片描述

1、输入：采集各种样式、大小和来源的数据

Logstash 支持各种输入选择 ，同时从众多常用来源捕捉事件。
能够以连续的流式传输方式，轻松地从您的日志、指标、Web 应用、数据存储以及各种 AWS 服务采集数据。
在这里插入图片描述

2、过滤器：实时解析和转换数据

数据从源传输到存储库的过程中，Logstash 过滤器能够解析各个事件，识别已命名的字段以构建结构，并将它们转换成通用格式，以便更轻松、更快速地分析和实现商业价值。

  • 利用 Grok 从非结构化数据中派生出结构
  • 从 IP 地址破译出地理坐标
  • 将 PII 数据匿名化，完全排除敏感字段
  • 简化整体处理，不受数据源、格式或架构的影响

3、输出：选择您的存储库，导出您的数据

尽管 Elasticsearch 是我们的首选输出方向，能够为我们的搜索和分析带来无限可能，但它并非唯一选择。
Logstash 提供众多输出选择，您可以将数据发送到您要指定的地方，并且能够灵活地解锁众多下游用例。

在这里插入图片描述

二、Logstash的安装与配置

rpm -ivh jdk-8u171-linux-x64.rpm
rpm -ivh logstash-7.6.1.rpm
  • 测试：标准输入到标准输出
/usr/share/logstash/bin/logstash -e 'input { stdin { } } output { stdout {} }'

在这里插入图片描述

三、Logstash插件

1、file输出插件

  • 标准输入到文件
vim /etc/logstash/conf.d/test.conf
##写入
input {
        stdin { }
}
output {
        file {
                path => "/tmp/logstash.txt"        	##输出的文件路径
                codec => line { format => "custom format: %{message}"}							##定制数据格式
        }
}

在这里插入图片描述

  • 指定配置文件运行
/usr/share/logstash/bin/logstash -f /etc/logstash/conf.d/test.conf
  • 在标准输入中键入后可以查看：
cat /tmp/logstash.txt

在这里插入图片描述

2、elasticsearch输出插件

  • 标准输入到ES主机：
vim /etc/logstash/conf.d/es.conf
##写入
input {
        stdin { }
}
output {
        elasticsearch {
                hosts => "172.25.254.51:9200"    #输出到的ES主机与端口
                index => "logstash-%{+YYYY.MM.dd}"   #定制索引名称
        }
}
  • 指定配置文件运行
/usr/share/logstash/bin/logstash -f /etc/logstash/conf.d/es.conf

在这里插入图片描述

  • 查看ES主机
    数据成功写入：
    在这里插入图片描述

3、file输入插件

  • 把文件内容输出到ES主机
vim /etc/logstash/conf.d/es.conf
##写入
input {
        file {
		path => "/var/log/httpd/access_log"
		start_position => "beginning"
	}
}
output {
        elasticsearch {
                hosts => "172.25.254.51:9200"
                index => "syslog-%{+YYYY.MM.dd}"
        }
}

在这里插入图片描述

  • 指定配置文件运行
/usr/share/logstash/bin/logstash -f /etc/logstash/conf.d/es.conf

  • 创造一些访问量
    在这里插入图片描述

  • 查看ES主机
    可以查看到刚才写入的数据：
    在这里插入图片描述

  • logstash如何区分设备、文件名、文件的不同版本？
    logstash会把进度保存到sincedb文件中

# find / -name .sincedb*
/usr/share/logstash/data/plugins/inputs/file/.sincedb_452905a167cf4509fd08acb964fdb20c
# cd /usr/share/logstash/data/plugins/inputs/file/
# cat .sincedb_452905a167cf4509fd08acb964fdb20c 
20297 0 64768 119226 1551859343.6468308 /var/log/messages
# ls -i /var/log/messages
20297 /var/log/messages

sincedb文件内容解释：

# cat .sincedb_452905a167cf4509fd08acb964fdb20c
20297 0 64768 119226 1551859343.6468308 /var/log/messages
  • sincedb文件一共6个字段：
    • inode编号
    • 文件系统的主要设备号
    • 文件系统的次要设备号
    • 文件中的当前字节偏移量
    • 最后一个活动时间戳（浮点数）
    • 与此记录匹配的最后一个已知路径

4、Syslog输入插件

  • logstash可以伪装成日志服务器，直接接受远程日志。
vim /etc/logstash/conf.d/syslog.conf
##写入
input {
        syslog {
                port => 514		#日志收集端口
        }
}
output {
        stdout { }
        elasticsearch {
                hosts => "172.25.254.51:9200"
                index => "syslog-%{+YYYY.MM.dd}"
        }
}

在这里插入图片描述

  • 指定配置文件运行
/usr/share/logstash/bin/logstash -f /etc/logstash/conf.d/syslog.conf

netstat -antulp |grep :514

在这里插入图片描述

  • 配置客户端传入日志
vim /etc/rsyslog.conf 
##写入
*.*         @@172.25.254.57:514    

systemctl restart rsyslog

在这里插入图片描述

5、多行过滤插件

  • 多行过滤可以把多行日志记录合并为一行事件
vim /etc/logstash/conf.d/multiline.conf
##写入
input {
	stdin {
	codec => multiline {
		pattern => "^EOF"
		negate => true
		what => previous
		}
	}
}
output {
	stdout {}
}

在这里插入图片描述

  • 指定配置文件运行
/usr/share/logstash/bin/logstash -f /etc/logstash/conf.d/multiline.conf
  • 查看输出
    在这里插入图片描述

6、grok过滤插件

vim /etc/logstash/conf.d/grok.conf
##写入
input {
	stdin {}
}
filter {
	grok {
	match => { "message" => "%{IP:client} %{WORD:method} %{URIPATHPARAM:request} %{NUMBER:bytes} %{NUMBER:duration}" }
	}
}
output {
	stdout {}
}

在这里插入图片描述

  • 指定配置文件运行
/usr/share/logstash/bin/logstash -f /etc/logstash/conf.d/grok.conf
  • 查看输出
    输入：
55.3.244.1 GET /index.html 15824 0.043

在这里插入图片描述

  • apache服务日志过滤实验：
# vim /etc/logstash/conf.d/apache.conf
input {
        file {
		path => "/var/log/httpd/access_log"
		start_position => "beginning"
	}
}
filter{
	grok {
		match => { "message" => "%{HTTPD_COMBINEDLOG}" }
	}
}
output {
        elasticsearch {
                hosts => "172.25.254.51:9200"
                index => "apachelog-%{+yyyy.MM.dd}"
        }
}

在这里插入图片描述
注意：日志对应的格式可以在下面图片所示的路径下找到：
在这里插入图片描述

  • 指定配置文件运行
/usr/share/logstash/bin/logstash -f /etc/logstash/conf.d/apache.conf

注意：因为我们上面已经读取过一次access_log的文件了，所以此时没有数据录入，需要删除对应的.sincedb文件
在这里插入图片描述

  • 查看输出
    可以看到，数据按照不同的类型分开了：
    在这里插入图片描述
羊咩咩咕噜噜
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
ELK学习6_Kafka->Logstash->Elasticsearch数据流操作
wang_zhenwei的博客
10-29 1万+
Logstash配置过程 在Logstash中建立input和output的条件： [hadoop@Slave1 ~]$ cd /usr/local/ [hadoop@Slave1 local]$ cd logstash/ [hadoop@Slave1 logstash]$ ls bin CONTRIBUTORS Gemfile.jruby-1.9.lock LICEN
ELK日志分析平台搭建全过程
01-27
ELK（Elasticsearch、Logstash、Kibana）日志分析平台因其高效、灵活的特点，成为了业界广泛使用的解决方案。本文将详细介绍如何在CentOS 6.5系统上，利用JDK 1.8、Elasticsearch 5.0.0、Logstash 5.0.0和Kibana ...
ELK 日志分析系统
weixin_34302798的博客
10-08 576
大纲：一、简介二、Logstash三、Redis四、Elasticsearch五、Kinaba一、简介1、核心组成ELK由Elasticsearch、Logstash和Kibana三部分组件组成；Elasticsearch是个开源分布式搜索引擎，它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制，restful风格接口，多数据源，自动搜索负载等。Logstash...
ELK-日志分析系统
热门推荐
二十同学
09-23 5万+
为什么要建立日志分析系统： 当我们需要进行日志分析场景：直接在日志文件中 grep、awk 就可以获得自己想要的信息。但在规模较大的场景中，此方法效率低下，面临问题包括日志量太大如何归档、文本搜索太慢怎么办、如何多维度查询。需要集中化的日志管理，所有服务器上的日志收集汇总。 解决办法是建立集中式日志收集系统，将所有节点上的日志统一收集，管理，访问。 一般大型系统是一个分布式部署的架构，不同的服务模块部署在不同的服务器上，问题出现时，大部分情况需要根据问题暴露的关键信息，定位到具体的服务器和服务模块，构
Logstash日志数据采集与ELK可视化分析实战
02-21
基于Logstash的日志数据采集和ELK可视化海量日志分析平台实战（全套视频+课件+代码+讲义+工具），具体内容包括： 01 Logstash的架构及运行流程 02 Logstash的数据采集案例（一） 03 Logstash的数据采集案例（二） 04...
ELK(ElasticSearch,Logstash,Kibana)搭建实时日志分析平台
01-29
经常分析日志可以了解服务器的负荷，性能安全性，从而及时采取措施纠正错误。通常，日志被分散的储存不同的设备上。如果你管理数十上百台服务器，你还在使用依次登录每台机器的传统方法查阅日志。这样是不是感觉
Logstash学习8_分布式日志收集之Logstash 笔记（二）
wang_zhenwei的博客
02-10 997
进入正题吧，上篇介绍了Logstash的基础知识和入门demo，本篇介绍几个比较常用的命令和案例  通过上篇介绍，我们大体知道了整个logstash处理日志的流程：  input  => filter => output  除了上面几个基础命令，还有ruby，mutate，gork，codes几个命令比较常用：  在线gork正则的地址：http://grokdebug.herok
Redis+Logstash+Elasticsearch+Kibana多Redis日志数据流
chouxiaoru3968的博客
09-05 179
本文描述了一个简单的case，讲解怎么在logstash进行配置，将多个日志数据流，通过redis缓存接收，再导出到elasticsearch多个索引，即一类日志数据对应一类索引。 假设有两组日志数据由日志端写入redis缓存，两组日志标记其类型为redis-data-A和redis-dat...
elasticsearch 使用 Logstash 做数据采集
H的博客
09-28 519
1，下载 下载地址（根据自己需要的版本下载）： https://www.elastic.co/cn/downloads/logstash 我这里是使用的6.2.1版本，直接下载就可以了 wget https://artifacts.elastic.co/downloads/logstash/logstash-6.2.1.tar.gz 2，解压 tar -zxvf logstash-6.2.1.t...
ELK logstash-7.5收集交换机日志
友人A的博客
09-23 4616
问题：有人反馈说7.x版本收集不了交换机日志，在此记录一次logstash-7.5收集华为交换机的日志记录。 前提：ELK环境已经安装完成，具体操作查看另外篇文章 一、交换机配置 添加：info-center loghost 192.168.14.210，IP地址是logstash服务器，华为交换机默认是UDP514端口发送数据 1、查看交换机版本 [SW30]display version Huawei Versatile Routing Platform Software VRP (R)
Logstash-数据流引擎
qq_43002947的博客
05-31 1024
Logstash-数据流引擎 作者 | WenasWei 一 Logstash Logstash是具有实时流水线功能的开源数据收集引擎。Logstash可以动态统一来自不同来源的数据，并将数据标准化到您选择的目标位置。清除所有数据并使其民主化，以用于各种高级下游分析和可视化用例。 1.1 Logstash简介 Logstash 是一个数据流引擎： 它是用于数据物流的开源流式 ETL（Extract-Transform-Load）引擎 在几分钟内建立数据流管道 具有水平可扩展及韧性且具有自适应缓冲 不可知
Elasticsearch数据采集和处理--Logstash VS Ingest Node
IT技术精选文摘
10-27 1344
1、背景Logstash是Elastic Stack的重要组成部分(即ELK中的L)，在该架构中负责数据采集，处理，输出等功能，支持多种数据输入，数据处理，数据输出方式，...
ELK(10)：ELK-通过syslog收集haproxy的日志
weixin_30621959的博客
07-17 388
ELK(10)：ELK-通过syslog收集haproxy的日志 syslog一般适合收集交换机、路由器这类网络设备的日志 我们这里收集一下haproxy haproxy的安装，就不说了参考：https://www.cnblogs.com/wangxu01/articles/11196522.html 本文的环境也是根据这个。 Haproxy配置日志 # vim /et...
三类XML文件的解析方法
c_zyer的博客
06-12 587
XML文件的解析 mybatis的学习当中，配置的加载传统的是通过解析用户配置的文件，获取到数据库连接与对象实体映射关系的，书中有描述到DOM\SAX\StAX 几种方案，一方面是夯实基础，一方面是了解三种方法的优缺点，今天就学习一下XML文件的解析 一、XML的解析方式 DOM 解析XML底层接口之一,跨平台，跨语言 SAX 解析XML底层接口之一 Jdom/dom4J 基于底层API的封装，Java语言，更方便便捷 二、DOM解析 DOM 解析的原理：树形结构，依赖内存加载文件，树在内存中
基于Elasticsearch+Logstash+Kibana的小型流量分析系统
击水三千里的专栏
09-15 1062
目录 总体流程 虚拟机环境搭建 1、在虚拟机中安装CentOS 2、在每个CentOS中都安装Java logstash部署以及上手使用 安装mysql以及手动导入样例数据 使用logstash将mysql数据导入elasticsearch 安装和部署kibana 基于kibana制作网站流量分析报表 总体流程 小型的流量分析系统，怎么来做，就讲解其中的一个做法和场景 1...
elasticsearch使用logstash同步数据库实战查询分页接口
最新发布
play_big_knife的博客
08-26 1149
使用logstash采集mysql数据库中数据，同步到elasticsearch索引文档中，在elastiicsearch索引文档中进行复杂查询和数据分页处理，处理的结果json数据通过flask后台技术返回前台.
ELK日志分析系统
weixin_51720711的博客
08-11 863
一、ELK日志分析系统简介 1、日志服务器的优缺点 优点 提高安全性 集中存放日志 缺点 对日志的分析困难 2、ELK 日志简化分析的管理工具，由Elasticsearch(ES)、Logstash、Kibana三个开源工具组成，官方网站: https://www.elastic.co/products ES(nosql非关数据库)：存储功能和索引 Logstash(收集日志)：到应用服务器上拿取log,并进行格式转换后输出到es中 通过input功能来收集/采集log filter过滤器：格式化数据 o
ELKstack日志收集分析平台配置全攻略
"这篇文档详述了如何使用ELK...通过这种分层架构，ELK stack 提供了一个全面的日志解决方案，从日志采集到数据分析，再到可视化的展示，为运维人员提供了一个强大的工具链，帮助他们更好地理解和管理复杂的系统行为。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值