ELK日志分析平台（L） logstash数据采集

最新推荐文章于 2024-04-27 20:28:20 发布
最新推荐文章于 2024-04-27 20:28:20 发布
阅读量1.7k 收藏 5
点赞数
分类专栏： ELK 文章标签： 大数据 python ELK logstash 运维
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/thermal_life/article/details/106691207
版权

二、logstash数据采集

我们在开启一台虚拟机server3充当logstash服务器

简介

  • Logstash是一个开源的服务器端数据处理管道。

  • logstash拥有200多个插件,能够同时从多个来源采集数据,转
    换数据,然后将数据发送到您最喜欢的 “存储库” 中。(大多都
    是 Elasticsearch。)

  • Logstash管道有两个必需的元素,输入和输出,以及一个可选元素过滤器
    在这里插入图片描述

  • 输入:采集各种样式、大小和来源的数据

    • Logstash 支持各种输入选择 ,同时从众多常用来源捕捉事件。
    • 能够以连续的流式传输方式,轻松地从您的日志、指标、 Web 应用、数据存储以及各种 AWS 服务采集数据。
      在这里插入图片描述

  • 过滤器:实时解析和转换数据

    • 数据从源传输到存储库的过程中,Logstash 过滤器能够解析各个事件,识别已命名的字段以构建结构,并将它们转换成通用格式,以便更轻松、更快速地分析和实现商业价值。

    • 利用 Grok 从非结构化数据中派生出结构

    • 从 IP 地址破译出地理坐标

    • 将 PII 数据匿名化,完全排除敏感字段

    • 简化整体处理,不受数据源、格式或架构的影响

  • 输出:选择您的存储库,导出您的数据

    • 尽管 Elasticsearch 是我们的首选输出方向,能够为我们的搜索和分析带来无限可能,但它并非唯一选择。
    • Logstash 提供众多输出选择,您可以将数据发送到您要指定的地
      方,并且能够灵活地解锁众多下游用例。

在这里插入图片描述

Logstash安装与配置

软件下载:
https://elasticsearch.cn/download/

logstash安装:

[root@server3 ~]# rpm -ivh jdk-8u181-linux-x64.rpm 	# 由于是java开发的，需要jdk的支持，我们不用系统自带的
[root@server3 ~]# rpm -ivh logstash-7.6.1.rpm

它的命令存放在：

[root@server3 bin]# ls
benchmark.sh  dependencies-report  logstash      logstash-keystore      logstash.lib.sh  logstash-plugin.bat  pqrepair  setup.bat
cpdump        ingest-convert.sh    logstash.bat  logstash-keystore.bat  logstash-plugin  pqcheck              ruby      system-install
[root@server3 bin]# pwd
/usr/share/logstash/bin

测试：

[root@server3 bin]# ./logstash -e 'input { stdin { } } output { stdout {} }'		# -e 使用命令行
hello		# 我们在这里输入什么
/usr/share/logstash/vendor/bundle/jruby/2.5.0/gems/awesome_print-1.7.0/lib/awesome_print/formatters/base_formatter.rb:31: warning: constant ::Fixnum is deprecated
{
          "host" => "server3",
       "message" => "hello",			# 下面就会显示什么
      "@version" => "1",
    "@timestamp" => 2020-06-09T14:33:25.403Z
}
world
{
          "host" => "server3",
       "message" => "world",
# ctrl + c 退出

说明我们刚才写的命令没问题。我们去配置文件中编写。

file输出插件

[root@server3 conf.d]# vim /etc/logstash/conf.d/test.conf
input {
	stdin {}
}


output {
	stdout {}
}

[root@server3 bin]# ./logstash -f /etc/logstash/conf.d/test.conf		# -f 指定文件去调用，这样更推荐使用

这种的输入输出都再命令行中，我们也可以使用输出的文件路径
[root@server3 conf.d]# vim /etc/logstash/conf.d/test.conf
...
output {
        file {
                path => "/tmp/logstash.txt"
                codec => line { format => "custom format: %{message}"}

[root@server3 bin]# ./logstash -f /etc/logstash/conf.d/test.conf
wo
[INFO ] 2020-06-09 22:45:32.269 [[main]>worker0] file - Opening file {:path=>"/tmp/logstash.txt"}
			#  可以看出这里的输出指定到了 :path=>"/tmp/logstash.txt
ai
ni

[root@server3 bin]# cat /tmp/logstash.txt 
custom format: wo
custom format: ai
custom format: ni			# 确实保存到了这里，当然我们最常用的是指定输出到ES 中

输出至ES，ES进行分析，然后kibana在进行展示.

elasticsearch输出插件

输出至ES：

[root@server3 conf.d]# vim es.conf 
input {
	stdin {}
}
output {
	stdout {}
	elasticsearch {
		hosts => "172.25.254.4:9200"			# 输出到的ES主机与端口
		index => "logstash-%{+YYYY.MM.dd}"		# 定制索引名称
			}
}

[root@server3 conf.d]# /usr/share/logstash/bin/logstash -f /etc/logstash/conf.d/es.conf
hello
/usr/share/logstash/vendor/bundle/jruby/2.5.0/gems/awesome_print-1.7.0/lib/awesome_print/formatters/base_formatter.rb:31: warning: constant ::Fixnum is deprecated
{
       "message" => "hello",
      "@version" => "1",
    "@timestamp" => 2020-06-09T15:02:49.910Z,
          "host" => "server3"
}
我是帅哥
{
       "message" => "我是帅哥",
      "@version" => "1",
    "@timestamp" => 2020-06-09T15:04:24.176Z,
          "host" => "server3"
}
我爱你
{
       "message" => "我爱你",
      "@version" => "1",
    "@timestamp" => 2020-06-09T15:04:29.416Z,
          "host" => "server3"

然后再web端查看
在这里插入图片描述

在这里插入图片描述
就在ES上可以查看了。

这种的输入是我们一直在手敲，是不方便的，所以我们可以把文件中的内容输出至ES。

file输入插件

[root@server3 conf.d]# vim es.conf 
input {
	file {
		path => "/etc/passwd"			# 输入这个文件中的内容
		start_position => "beginning"		# begin 是从头开始读，end从末尾读，即只读新的内容
	}
}

output {
	stdout {}
	elasticsearch {
		hosts => "172.25.254.4:9200"
		index => "logstash-%{+YYYY.MM.dd}"
			}
}
[root@server3 conf.d]# /usr/share/logstash/bin/logstash -f /etc/logstash/conf.d/es.conf		# 运行
# 然后再web查看：

在这里插入图片描述

在这里插入图片描述
就过来了。

这样又出现了一种问题，就是，我们删除这个logstash

在这里插入图片描述在这里插入图片描述

现在没有logstash了，我们在重新发送

[root@server3 conf.d]# /usr/share/logstash/bin/logstash -f /etc/logstash/conf.d/es.conf
[INFO ] 2020-06-09 23:33:25.506 [[main]<file] observingtail - START, creating Discoverer, Watch with file and sincedb collections
[INFO ] 2020-06-09 23:33:26.105 [Api Webserver] agent - Successfully started Logstash API endpoint {:port=>9600}
# 现在它就卡在这里了，不会在重新输入数据了，这样就避免了数据的冗余。

它是怎样实现的那,也就是说logstash如何区分设备、文件名、文件的不同版本？：
因为 logstash会把进度保存到sincedb文件中,这样在下次读取的时候会直接读取这个since文件，从上次的位置在开始。

[root@server3 ~]# find / -name .sincedb*
/usr/share/logstash/data/plugins/inputs/file/.sincedb_452905a167cf4509fd08acb964fdb20c
/usr/share/logstash/data/plugins/inputs/file/.sincedb_c5068b7c2b1707f8939b283a2758a691

#sincedb文件内容解释
[root@server3 file]# cat .sincedb_c5068b7c2b1707f8939b283a2758a691 
17236146 0 64768 960 1591716805.901863 /etc/passwd

sincedb文件一共6个字段:

  1. inode编号
  2. 文件系统的主要设备号
  3. 文件系统的次要设备号
  4. 文件中的当前字节偏移量 (进度)
  5. 最后一个活动时间戳(浮点数)
  6. 与此记录匹配的最后一个已知路径

我们想重新读的话删除这个文件就可以了。

[root@server3 file]# rm -fr .sincedb_*
[root@server3 file]# ls .
./  ../ 
[root@server3 file]# /usr/share/logstash/bin/logstash -f /etc/logstash/conf.d/es.conf	# 不退出重开一个终端，查看年偏移量，这样会持续关注文件内容
[root@server3 file]# ls -a
.  ..  .sincedb_c5068b7c2b1707f8939b283a2758a691
[root@server3 file]# cat .sincedb_c5068b7c2b1707f8939b283a2758a691 
17236146 0 64768 960 1591717513.779288 /etc/passwd
## 此时的文件偏移量是960

我们在插入一条数据：
[root@server3 file]# useradd caoaoyuan
[root@server3 file]# cat .sincedb_c5068b7c2b1707f8939b283a2758a691 
17759114 0 64768 1009 1591717900.9324548 /etc/passwd	
				# 增加了

我们还可以吧文件路径这里改成我们的日志路径，比如/etc/log/httpd/access_log.

[root@server3 ~]# vim /etc/logstash/conf.d/es.conf
input {
        file {
                path => "/var/log/httpd/access_log"
                start_position => "beginning"
        }

}

output {
        stdout {}
        elasticsearch {
                hosts => "172.25.254.4:9200"
                index => "apache-%{+YYYY.MM.dd}"
                        }
}
[kiosk@rhel7host ~]$ ab -c 1 -n 100 http://172.25.254.3/index.html		#压力测试
[root@server3 conf.d]# /usr/share/logstash/bin/logstash -f /etc/logstash/conf.d/es.conf 	# 导入

在这里插入图片描述
就有了100条数据。

但是这样的话太繁琐，x需要在每台机器上装个logsatsh，我们可以把logstash伪装成日志服务器,直接接受远程日志,做一个日志采集服务器。
比如我们现在想把这几个结点的日志都汇集到server3上去

[root@server3 conf.d]# vim syslog.conf
input {
        syslog{
                port => 514		# 默认的端口可以不加
        }
}

output {
        stdout {}
        elasticsearch {
                hosts => "172.25.254.4:9200"
                index => "syslog-%{+YYYY.MM.dd}"
                        }
}
[root@server3 conf.d]# /usr/share/logstash/bin/logstash -f /etc/logstash/conf.d/syslog.conf

在这里插入图片描述
开启后就会开启514端口，udp,tcp都支持。
然后我们其他三个结点中的rsyslog中去配置：

[root@server4 _site]# vim /etc/rsyslog.conf 
#*.* @@remote-host:514
#### end of the forwarding rule ###
*.* @@172.25.254.3:514			# 末尾加上这一行，*.*所有日志
[root@server4 _site]# systemctl restart rsyslog.service 		# 然后重启这个服务

在这里插入图片描述
然后server3上就采集到server4上的信息了，其它两个结点同理

[root@server4 _site]# logger server4		# 生成日志
[root@server4 _site]# tail -1 /var/log/messages		# 会记录到这里
Jun 11 10:30:47 server4 root: server4

在这里插入图片描述
注意看message 哪一行，就是我们输入的内容。

我们也可以利用官方的插件，不部署logstash就采集日志。

多行过滤插件

在标准输入中，我们只能敲一行按回车就提交了，那我们如果想输入多行，怎麼办那，就可以用这个多行过滤插件。

[root@server3 conf.d]# vim multline.conf
input {
        stdin {
                codec => multiline {
                pattern => "^EOF"		# 匹配到这个字符时结束，可以指定
                negate => true
                what => previous			# 向上匹配，next向下匹配
                }
	}
}
output {
        stdout {}
}
# 指定运行
[root@server3 conf.d]# /usr/share/logstash/bin/logstash -f /etc/logstash/conf.d/multline.conf
wo
ai
ni
EOF			# 不出现顶格的EOF，就可以一直回车进入下一行输入
/usr/share/logstash/vendor/bundle/jruby/2.5.0/gems/awesome_print-1.7.0/lib/awesome_print/formatters/base_formatter.rb:31: warning: constant ::Fixnum is deprecated
{
          "host" => "server3",
          "tags" => [
        [0] "multiline"
    ],
       "message" => "wo\nai\nni",
    "@timestamp" => 2020-06-11T02:50:20.470Z,
      "@version" => "1"

但这样没有太大的意义。

[root@server1 elasticsearch]# cd /var/log/elasticsearch/
[root@server1 elasticsearch]# ls
gc.log     gc.log.03  gc.log.07  gc.log.11  gc.log.15  my-es-2020-06-09-1.json.gz 
我们查看日志时发现被压缩了，
这是ES当日志超过一定大小就会自动压缩。

[root@server1 elasticsearch]# scp my-es-2020-06-09-1.log.gz  server3:		#复制一份给server3，用于传输。

查看这些日志我们发现;
在这里插入图片描述
这些本该在一个消息里面的，在运行的时候传到ES，会拆分成一行一行的：

[root@server3 conf.d]# vim log.conf 
input {
	file {
		path => "/root/my-es.log"
		start_position => "beginning"
	}

}

output {
	stdout {}
	elasticsearch {
		hosts => "172.25.254.4:9200"
		index => "log-%{+YYYY.MM.dd}"
			}
}

[root@server3 conf.d]# /usr/share/logstash/bin/logstash -f /etc/logstash/conf.d/log.conf

在这里插入图片描述
我们进行配置;
每个日志的开头都有时间戳，我们可以根据这个再结合多行过滤进行设置。

[root@server3 conf.d]# vim log.conf 
input {
        file {
                path => "/root/my-es.log"
                start_position => "beginning"
                codec => multiline {
                        pattern => "^\["		# 时间戳的开头以顶格的[开始，\转义
                        negate => true
                        what => previous
                        }
        }
下面不变，这就说明，每个时间戳到下一个时间戳的内容作为一个消息。

我们在web界面删除原先的索引。
在这里插入图片描述
在删除sincedb。
运行：
[root@server3 conf.d]# /usr/share/logstash/bin/logstash -f /etc/logstash/conf.d/log.conf

在这里插入图片描述。
原来的几百条数据就只剩了12条了，
在这里插入图片描述
每条内容都有完整的消息了.

grok过滤插件

我们可以通过grok插件，对消息进行拆分，步入我们想要提取IP地址，就可以使用相应的语句。当然在企业中grok不一定时最好的，我们可以在数据output 到redis ，然后通过python语言进行处理，然后再放到ES中，也是一个很不错的选择。

[root@server3 file]# vim grok.conf
input {
        stdin {}
}

filter {
      grok {
        match => { "message" => "%{IP:client} %{WORD:method} %{URIPATHPARAM:request} %{NUMBER:bytes} %{NUMBER:duration}" }
      }
}

output {

        stdout {}
}

[root@server3 conf.d]# /usr/share/logstash/bin/logstash -f /etc/logstash/conf.d/grok.conf
55.3.244.1 GET /index.html 15824 0.043		# 输入
/usr/share/logstash/vendor/bundle/jruby/2.5.0/gems/awesome_print-1.7.0/lib/awesome_print/formatters/base_formatter.rb:31: warning: constant ::Fixnum is deprecated
{
        "client" => "55.3.244.1",
        "method" => "GET",
    "@timestamp" => 2020-06-11T03:52:50.104Z,
       "request" => "/index.html",
          "host" => "server3",
      "@version" => "1",
       "message" => "55.3.244.1 GET /index.html 15824 0.043",
      "duration" => "0.043",
         "bytes" => "15824"
}
# 就切分开了

apache服务日志过滤实战:

我们可以去这里查看帮助：

[root@server3 patterns]# pwd
/usr/share/logstash/vendor/bundle/jruby/2.5.0/gems/logstash-patterns-core-4.1.2/patterns
[root@server3 patterns]# ls
aws  bacula  bind  bro  exim  firewalls  grok-patterns  haproxy  httpd  java  junos  linux-syslog  maven  mcollective  mcollective-patterns  mongodb  nagios  postgresql  rails  redis  ruby  squid
[root@server3 patterns]# vim httpd

在这里插入图片描述
这里面已经帮我们定义好了俩种格式：
HTTPD_COMMONLOG
HTTPD_COMBINEDLOG
我们直接在文件中引用就可以

[root@server3 conf.d]# vim apache.conf 
input {
        file {
                path => "/var/log/httpd/access_log"
                start_position => "beginning"
        }
}

filter{
        grok {
                match => { "message" => "%{HTTPD_COMBINEDLOG}" }	#在这里引用
        }
}

output {
        elasticsearch {
                hosts => "172.25.254.4:9200"
                index => "apachelog-%{+YYYY.MM.dd}"
        }
}

我们再次删除sincedb文件和head上面的日志，重新运行;

[root@server3 conf.d]# rm -fr /usr/share/logstash/data/plugins/inputs/file/.sincedb_9a85c763ba08cfe0808c1649ef0e65a9
[root@server3 conf.d]# /usr/share/logstash/bin/logstash -f /etc/logstash/conf.d/apache.conf

在这里插入图片描述
传过来的数据就变成了这样子，就很方便我们日后对其中的数据进行采集分析。

young_dump_broke
关注
  • 0
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
使用ELK搭建日志集中分析平台实践
01-27
Elasticsearch+Logstash+Kibana（ELK）是一套开源的日志管理方案，分析网站的访问情况时我们一般会借助Google/百度/CNZZ等方式嵌入JS做数据统计，但是当网站访问异常或者被攻击时我们需要在后台分析如Nginx的具体日志，而Nginx日志分割/GoAccess/Awstats都是相对简单的单节点解决方案，针对分布式集群或者数据量级较大时会显得心有余而力不足，而ELK的出现可以使我们从容面对新的挑战。Logstash：负责日志的收集，处理和储存Elasticsearch：负责日志检索和分析Kibana：负责日志的可视化ELK(Elasticsearch+
ELK日志收集系统简述
wuds_158的博客
06-09 2405
在每台服务器上部署logstash实例，对日志进行收集或处理后输出到elasticsearch、elasticsearc进行存储、索引，kibana关联索引，展示、分析数据，这种架构是常见的构架，缺点是在每台服务器上要部署logstash实例，而且还得依赖jdk，所以跑起来比较重，对资源消耗比较大，另外es是单个节点，存在单点故障，所以这种架构比较适合日志数据不大、机器少的场景.2、它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制，restful风格接口，多数据源，自动搜索负载等。
ELK实现日志收集
core815的专栏
12-06 725
ELK是三个开源软件的缩写，分别表示：Elasticsearch , Logstash, Kibana , 它们都是开源软件。Elasticsearch是个开源分布式搜索引擎，提供搜集、分析、存储数据三大功能。它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制，restful风格接口，多数据源，自动搜索负载等。Logstash 主要是用来日志的搜集、分析、过滤日志的工具，支持大量的数据获取方式。
ELK(ElasticSearch,Logstash,Kibana)搭建实时日志分析平台
01-29
在搜索ELK资料的时候，发现这篇文章比较好，于是摘抄一小段： 以下内容来自：http://baidu.blog.51cto.com/71938/1676798日志主要包括系统日志、应用程序日志和安全日志。系统运维和开发人员可以通过日志了解服务器软硬件信息、检查配置过程中的错误及错误发生的原因。经常分析日志可以了解服务器的负荷，性能安全性，从而及时采取措施纠正错误。通常，日志被分散的储存不同的设备上。如果你管理数十上百台服务器，你还在使用依次登录每台机器的传统方法查阅日志。这样是不是感觉
ELK日志收集
u010864567的博客
04-16 5158
搭建ELK ELK是由elasticsearch、logstash、kibana三个开源软件组成的一个组合体，ELK是elastic公司公司研发的一套完整的日志收集、分析和展示的企业级解决方案，在这三个软件当中，每个软件用于完成不同的功能，官方域名为elastic.io，ELK stack的主要优点： 处理方式灵活：elasticsearch是实时全文索引，具有强大的搜索功能 配置相当简单：elasticsearch的API全部使用JSON接口，logstash使用模块配置，kibana的配置文件部分
logstash 日志收集
cwyxf123的博客
04-13 4498
1、logstash 收集系统日志 logstash配置文件 root@logstash-node1:~# vim /etc/logstash/conf.d/syslog-to-es.conf input { file { path =>"/var/log/syslog" #第一次从头收集，之后从新添加的日志收集 start_position => "beginning" #日志收集的间隔时间 stat_interval =>"3"
使用 ELK 收集日志
码农UP2U
09-15 4021
在这种情况下，ELK 为我们提供了统一的日志管理解决方案，它能很好的支持 Logback 等日志框架，使得我们可以集中的管理不同应用输出的日志信息。创建完成后，返回 Kibana 的首页，选择 Discover 选项，切换到我们新建的 logstash-* 选项下，然后选择时间段，就可以看到相应的日志信息了。在上图中应用日志框架直接将日志发送给 Logstash，然后 Logstash 将接收的日志写入 ElasticSearch 中，开发人员通过可视化的 Kibana 可以进行日志的查询和分析。
ELK详解（八）——Logstash收集系统日志实战
永远是少年
04-05 6768
今天继续给大家介绍Linux运维相关知识，本文主要内容是Logstash收集系统日志。 一、Logstash配置 二、Elasticsearch结果查看 三、Kibana结果查看
Elasticsearch及ELK使用（二）：日志数据采集
zyplanke的专栏
06-26 3822
上一篇结束了Elasticsearch和kibana的安装和基本使用。本文介绍日志数据采集（也叫日志采集），涉及filebeat的软件和logstash软件。 本文分别介绍了从日志文件采集和从数据库（MySQL）中采集。
企业级日志分析系统 ELK 详解
shenyuanhaojie的博客
11-19 2091
文章目录前言一、ELK 日志分析系统1. ELK 简介2. 组件说明2.1 ElasticSearch2.2 Logstash2.3 Kibana2.4 Filebeat3. 完整日志系统的基本特征4. ELK的工作原理二、部署 ELK 日志分析系统1. 服务器配置2. 关闭防火墙3. ElasticSearch集群部署（node1、node2）3.1 环境准备3.2 部署 ElasticSearch 软件3.2.1 安装 elasticsearch-rpm 包3.2.2 加载系统服务3.2.3 修改 el
Logstash日志数据采集与ELK可视化分析实战
02-21
基于Logstash的日志数据采集和ELK可视化海量日志分析平台实战（全套视频+课件+代码+讲义+工具），具体内容包括： 01 Logstash的架构及运行流程 02 Logstash的数据采集案例（一） 03 Logstash的数据采集案例（二） 04...
ELK日志分析平台搭建全过程
02-24
当生产环境有很多服务器、很多业务模块的日志需要每时每刻查看时系统：centos6.5JDK：1.8Elasticsearch-5.0.0Logstash-5.0.0kibana-5.0.01、安装JDK下载JDK：...将安装包拷贝至安装服务器/usr/local目录[root@localhost...
ELK日志收集系统
2301_78534682的博客
09-03 924
ELK（Elasticsearch、Logstash、Kibana）是一套用于实时日志数据处理和可视化的开源工具组合。本文摘要将介绍ELK的主要功能和优势。
分布式日志采集（elk+kafka）
qq_40322236的博客
03-24 1843
分布式系统的日志，每个服务器节点web服务都会产生各自的日志文件，如果想要整合或者排查日志，就需要到每个节点下逐一查看日志文件这样会比较麻烦。所以需要一个方案将日志采集放到一个位置进行存储和查询。这里就可以使用elk+kafka的方式解决。
ELK | Logstash日志采集（Linux）
苏老师的博客
08-24 1887
Logstash 简介,Linux安装,以及性能调优
【Logstash】日志处理-Logstash的使用
上官玺的博客
10-07 3926
日志可以协助我们的调试和开发。在开发中尽量使用日志的方式来调试，是我们推荐的做法。尽量避免使用System.out.println. 因为很多时候我们调试完毕都要进行删除调试代码。留下会给程序增加运行时间。而日志可以很方便的控制级别就可以控制是否输入，而支持存储的形态很多。比如数据库，文件等。所以日志是我们开发中必不可少的一环。如果级别是：debug ，debug和 info以及error都会输出如果级别是：info ，那么只会打印初：info和error。
ELK logstash日志收集与过滤
qq_39738963的博客
12-03 1084
logstash日志过滤与收集测试
ELK中Logstash的配置和用法
浮尘笔记
08-22 1716
Logstash的配置和用法，以及在ELK中收集系统日志并展示到kibana中的过程。Logstash是一个开源的、服务端的数据处理pipeline（管道），它可以接收多个源的数据、然后对它们进行转换、最终将它们发送到指定类型的目的地。Logstash是通过插件机制实现各种功能的，可以在下载各种功能的插件，也可以自行编写插件。Logstash实现的功能主要分为接收数据、解析过滤并转换数据、输出数据三个部分，对应的插件依次是input插件、filter插件、output插件。
云计算知识点-02
最新发布
lv785的博客
04-27 1216
DataNode是HDFS文件系统的工作节点，DataNode会按照客户端或者是NameNode的调度来存储和检索数据，并定期向NameNode发送它所存储的数据块列表，DataNode是文件系统中真正存储数据的地方。通过这种虚拟化可以减少服务器的数量，提高服务器的使用效率，可以在一定程度上摆脱物理上的空间限制，实现随时随地随需的自由掌控。Glance(镜像服务组件)，其作用是：提供虚拟机镜像的存储，查询和检索功能，为nova进行服务，依赖于存储服务（存储镜像本身）和数据库服务（存储镜像相关的数据）。
ELK日志分析系统的工作原理
02-28
ELK日志分析系统是由三个主要组件组成的：Elasticsearch、Logstash 和 Kibana。 1. Elasticsearch 是一个开源搜索引擎，它能够存储和查询大量的日志数据。 2. Logstash 是一个数据收集和处理工具，它能够从多个来源收集日志数据，并将其转换为 Elasticsearch 可以处理的格式。 3. Kibana 是一个可视化工具，它能够帮助用户使用图表和图形来分析和理解存储在 Elasticsearch 中的日志数据。 ELK 日志分析系统的工作流程如下： 1. 日志产生：应用程序或服务生成日志数据。 2. 日志收集：Logstash 从各种来源收集日志数据，包括文件、数据库、网络端口等。 3. 日志转换：Logstash 对日志数据进行过滤和转换，将其转换为 Elasticsearch 可以处理的格式。 4. 日志存储：Elasticsearch 将转换后的日志数据存储到其内部数据库中。 5. 日志查询：用户使用 Kibana 对存储在 Elasticsearch 中的日志数据进行查询和可视化分析。 6. 日志报告：Kibana 可以将分析结果以图表或图形的形式展示给用户，方便用户

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值