Filebeat+Kafka+ELK日志采集(四)——Logstash

置顶 已于 2023-02-09 11:34:28 修改
阅读量5k 收藏 7
点赞数 1
分类专栏： ELK日志采集 文章标签： kafka elk 大数据
于 2022-09-30 14:57:05 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_40774600/article/details/127117995
版权

1、Logstash概述

Logstash和Filebeat一样也是日志收集工具，支持复杂的日志过滤分析，功能更加全面，但相比Filebeat需要更多的运行内存，比较笨重。在使用方面通常搭配轻量级的日志收集工具组合使用。

2、快速开始

2.1、下载、安装、配置、启动：

先以最简模型快速开始再讲原理及细节。

1、下载

wget https://artifacts.elastic.co/downloads/logstash/logstash-8.3.2-linux-x86_64.tar.gz

2、解压

tar -xzvf logstash-8.3.2-linux-x86_64.tar.gz

3、启动
进入Logstash /bin目录下执行一下命令：

./logstash -e "input { stdin {} } output { stdout {} }"

如上，设置数据来源为控制台输入stdin {}，输出为控制台输出stdout {}。
在这里插入图片描述
如图所示，启动成功后分别输入"hello"和"test logstash"。

4、配置
进入/config目录，修改或创建logstash.conf配置文件，配置信息如下：

input {
    stdin{}
}
output {
    stdout{}
}

指定配置文件启动：

./logstash -f ./config/logstash.conf

logstash.conf中配置的也是控制台输入输出，效果同./logstash -e "input { stdin {} } output { stdout {} }" 一样。
下面章节讲解从Kafka获取输入数据，将数据过滤筛选，输出至Elasticsearch的详细配置。

3、Logstash详细使用说明

3.1、Logstash工作流程图

在这里插入图片描述
如上图所示，Logstash主要包含三部分：

  • 输入：input，设置数据来源，logstash支持数种输入，本文使用Kafka作为数据来源，更多输入配置见官网: Logstash 输入。
  • 过滤：filter，对数据进行筛选、过滤、分析分类，转换等操作。
  • 输出：output，对处理过的数据输出配置，常用Elasticsearch作为输出。

以上三部分组成一种管道pipeline，可配置多个管道pipeline。

以Kafka作为输入，解析过滤Java日志，Elasticsearch作为输出，logstash.conf配置如下：

input {
  kafka {
    bootstrap_servers => ['localhost:9092']
    # 设置分组
    #group_id => 'gateway'
    #以上配置中加入了group_id参数，group_id是一个的字符串，唯一标识一个group，具有相同group_id的consumer构成了一个consumer group，这样启动多个logstash进程，只需要保证group_id一致就能达到logstash高可用的目#的，一个logstash>挂掉同一Group内的logstash可以继续消
    # 多个客户端同时消费需要设置不同的client_id，注意同一分组的客户端数量≤kafka分区数量
    #client_id => 'elk-dev'
    # 正则匹配topic
    topics => ["testTopic","testGateway"]
    codec => "json"
    #默认为false，只有为true的时候才会获取到元数据
    decorate_events => true
    security_protocol => "SASL_PLAINTEXT"
    sasl_mechanism => "PLAIN"
    sasl_jaas_config => "org.apache.kafka.common.security.plain.PlainLoginModule required username='admin'  password='password';"
  }
}

filter {
     grok {
        # 筛选过滤
        match => [
                #2022-08-16 15:23:09.699 [main] [com.dimpt.netctl.mec.RestUiApplication] \nINFO : Started RestUiApplication in 20.523 seconds (JVM running for 21.161)
                "message",  "%{TIMESTAMP_ISO8601:time}\s*\[%{DATA:thread}\]\s*\[%{DATA:class}\]\s*\n%{LOGLEVEL:level}\s*:\s*%{GREEDYDATA:msg}"
        ]
      # remove_field => ["message","@timestamp","@metadata","tags","log","@version"]
    }
    grok {
        match =>[
		"[log][file][path]",  "(?<project>([^/]+)(?=/[^/]+/?$))/(?<module>([^/]+)(?=.log$))"
		]
    }

     date {
       match => ["message","UNIX_MS"]
       target => "@timestamp"
    }
    ruby {
        code => "event.set('timestamp', event.get('@timestamp').time.localtime + 8*60*60)"
    }
    ruby {
        code => "event.set('@timestamp',event.get('timestamp'))"
    }
     mutate {
       remove_field => ["timestamp"]
    }

}

output {
  elasticsearch {
    hosts => ["http://localhost:9200"]
    index => "%{[fields][project]}-%{+YYYY.MM.dd}"
    #user => "elastic"
    #password => "changeme"
  }
 #控制台输出，方便调试 
  stdout {}
}

3.2、输入配置

input {
  kafka {
    bootstrap_servers => ['192.168.1.1:9092','192.168.1.2:9092','192.168.1.3:9092']
    # 设置分组
    #group_id => 'gateway'
    #以上配置中加入了group_id参数，group_id是一个的字符串，唯一标识一个group，具有相同group_id的consumer构成了一个consumer group，这样启动多个logstash进程，只需要保证group_id一致就能达到logstash高可用的目#的，一个logstash>挂掉同一Group内的logstash可以继续消
    # 多个客户端同时消费需要设置不同的client_id，注意同一分组的客户端数量≤kafka分区数量
    #client_id => 'elk-dev'
    # 正则匹配topic
    topics => ["testTopic","testGateway"]
    codec => "json"
    #默认为false，只有为true的时候才会获取到元数据
    decorate_events => true
    #连接kafka时设置username和password
    security_protocol => "SASL_PLAINTEXT"
    sasl_mechanism => "PLAIN"
    sasl_jaas_config => "org.apache.kafka.common.security.plain.PlainLoginModule required username='username'  password='password';"
  }
}

以Kafka作为输入，配置如上
bootstrap_servers => ['192.168.1.1:9092','192.168.1.2:9092','192.168.1.3:9092']设置kakfa连接信息
topics => ["testTopic","testGateway"]设置消费topic

3.3、过滤配置

以Java日志为例，日志信息为：2022-08-16 15:23:09.699 [main] [com.dimpt.netctl.mec.RestUiApplication] \nINFO : Started RestUiApplication in 20.523 seconds (JVM running for 21.161)

filter {
     grok {
        # 筛选过滤
        match => [
                1、#2022-08-16 15:23:09.699 [main] [com.dimpt.netctl.mec.RestUiApplication] \nINFO : Started RestUiApplication in 20.523 seconds (JVM running for 21.161)
                "message",  "%{TIMESTAMP_ISO8601:time}\s*\[%{DATA:thread}\]\s*\[%{DATA:class}\]\s*\n%{LOGLEVEL:level}\s*:\s*%{GREEDYDATA:msg}"
               
                #2、java中括号日期开头类型日志解析：
                #[2018-11-24 08:33:43,253][ERROR][http-nio-8080-exec-4][com.hh.test.logs.LogsApplication][code:200,msg:测试录入错误日志,param:{}]
                "message",  "(?<date>\d{4}-\d{2}-\d{2}\s\d{2}:\d{2}:\d{2},\d{3})\]\[(?<level>[A-Z]{4,5})\]\[(?<thread>[A-Za-z0-9/-]{4,40})\]\[(?<class>[A-Za-z0-9/.]{4,40})\]\[(?<msg>.*)",

				#3、只获取时间和日志级别
				"message",  "%{TIMESTAMP_ISO8601:time}(?<other>.*)\n%{LOGLEVEL:level}"
        ]
      #需要移除的字段
      # remove_field => ["message","@timestamp","@metadata","tags","log","@version"]
    }
    #filebeat采集的日志，log.file.path字段为日志文件的完整路径如：/var/log/projectName/moduleName.log
    #获取项目名称和模块名称，分别赋值给project和module字段。
    grok {
        match =>[
		"[log][file][path]",  "(?<project>([^/]+)(?=/[^/]+/?$))/(?<module>([^/]+)(?=.log$))"
		]
    }
    #日志中时间time替换采集时间@timestamp，@timestamp固定为国际标准时间，替换后自动减8小时
     date {
       match => ["time", "yyyy-MM-dd HH:mm:ss.SSS"]
       #match => ["message","UNIX_MS"]
       target => "@timestamp"
    }
    #转换为东八区时间：加8个小时
    ruby {
        code => "event.set('timestamp', event.get('@timestamp').time.localtime + 8*60*60)"
    }
    ruby {
        code => "event.set('@timestamp',event.get('timestamp'))"
    }
     mutate {
       remove_field => ["timestamp"]
    }
}

使用grok匹配过滤message字段：

match => [
            "message",  "%{TIMESTAMP_ISO8601:time}\s*\[%{DATA:thread}\]\s*\[%{DATA:class}\]\s*\n%{LOGLEVEL:level}\s*:\s*%{GREEDYDATA:msg}"
        ]

表达式含义为对message字段进行正则匹配，使用语法为%{grok内置正则表达式:结果字段}。
以上表达式结果为新增5个字段：
日志时间time：2022-08-16 15:23:09.699
所属线程thread：mian
所属类class：com.dimpt.netctl.mec.RestUiApplication
日志级别level：INFO
日志详情msg：Started RestUiApplication in 20.523 seconds (JVM running for 21.161)

以上使用了grop内置的正则表达式，也可以自定义正则表达式，
自定义表达式格式为(?<结果字段名>正则表达式)，示例如下：

match => [
            #1、java日期开头类型日志解析: grok预定义正则表达式：https://blog.csdn.net/qq_25854057/article/details/121522310
                #2022-01-07 14:21:04.157 [main]  [o.springframework.boot.actuate.endpoint.EndpointId] WARN : Endpoint ID 'nacos-config' contains invalid characters, please migrate to a valid format.
                "message",  "(?<date>\d{4}-\d{2}-\d{2}\s\d{2}:\d{2}:\d{2}.\d{3})\s\[(?<thread>[A-Za-z0-9/.]{4,40})\]\s\s\[(?<class>[A-Za-z0-9/.]{4,100})\]\s\n(?<level>[A-Z]{4,5})(\s: |: )(?<msg>.*)",

                #2、java中括号日期开头类型日志解析：
                #[2018-11-24 08:33:43,253][ERROR][http-nio-8080-exec-4][com.hh.test.logs.LogsApplication][code:200,msg:测试录入错误日志,param:{}]
                "message",  "(?<date>\d{4}-\d{2}-\d{2}\s\d{2}:\d{2}:\d{2},\d{3})\]\[(?<level>[A-Z]{4,5})\]\[(?<thread>[A-Za-z0-9/-]{4,40})\]\[(?<class>[A-Za-z0-9/.]{4,40})\]\[(?<msg>.*)",
			
				#3、只获取时间和日志级别
				"message",  "%{TIMESTAMP_ISO8601:time}(?<other>.*)\n%{LOGLEVEL:level}"
        ]

如上所示使用自定义的正则表达式匹配添加字段；可使用多个正则表达式，以逗号隔开，自上而下匹配。

grok表达式


grok内置表达式：
USERNAME [a-zA-Z0-9._-]+
USER %{USERNAME}
EMAILLOCALPART [a-zA-Z][a-zA-Z0-9_.+-=:]+
EMAILADDRESS %{EMAILLOCALPART}@%{HOSTNAME}
INT (?:[+-]?(?:[0-9]+))
BASE10NUM (?<![0-9.+-])(?>[+-]?(?:(?:[0-9]+(?:\.[0-9]+)?)|(?:\.[0-9]+)))
NUMBER (?:%{BASE10NUM})
BASE16NUM (?<![0-9A-Fa-f])(?:[+-]?(?:0x)?(?:[0-9A-Fa-f]+))
BASE16FLOAT \b(?<![0-9A-Fa-f.])(?:[+-]?(?:0x)?(?:(?:[0-9A-Fa-f]+(?:\.[0-9A-Fa-f]*)?)|(?:\.[0-9A-Fa-f]+)))\b
 
POSINT \b(?:[1-9][0-9]*)\b
NONNEGINT \b(?:[0-9]+)\b
WORD \b\w+\b
NOTSPACE \S+
SPACE \s*
DATA .*?
GREEDYDATA .*
QUOTEDSTRING (?>(?<!\\)(?>"(?>\\.|[^\\"]+)+"|""|(?>'(?>\\.|[^\\']+)+')|''|(?>`(?>\\.|[^\\`]+)+`)|``))
UUID [A-Fa-f0-9]{8}-(?:[A-Fa-f0-9]{4}-){3}[A-Fa-f0-9]{12}
# URN, allowing use of RFC 2141 section 2.3 reserved characters
URN urn:[0-9A-Za-z][0-9A-Za-z-]{0,31}:(?:%[0-9a-fA-F]{2}|[0-9A-Za-z()+,.:=@;$_!*'/?#-])+
# Networking
MAC (?:%{CISCOMAC}|%{WINDOWSMAC}|%{COMMONMAC})
CISCOMAC (?:(?:[A-Fa-f0-9]{4}\.){2}[A-Fa-f0-9]{4})
WINDOWSMAC (?:(?:[A-Fa-f0-9]{2}-){5}[A-Fa-f0-9]{2})
COMMONMAC (?:(?:[A-Fa-f0-9]{2}:){5}[A-Fa-f0-9]{2})
IPV6 ((([0-9A-Fa-f]{1,4}:){7}([0-9A-Fa-f]{1,4}|:))|(([0-9A-Fa-f]{1,4}:){6}(:[0-9A-Fa-f]{1,4}|((25[0-5]|2[0-4]\d|1\d\d|[1-9]?\d)(\.(25[0-5]|2[0-4]\d|1\d\d|[1-9]?\d)){3})|:))|(([0-9A-Fa-f]{1,4}:){5}(((:[0-9A-Fa-f]{1,4}){1,2})|:((25[0-5]|2[0-4]\d|1\d\d|[1-9]?\d)(\.(25[0-5]|2[0-4]\d|1\d\d|[1-9]?\d)){3})|:))|(([0-9A-Fa-f]{1,4}:){4}(((:[0-9A-Fa-f]{1,4}){1,3})|((:[0-9A-Fa-f]{1,4})?:((25[0-5]|2[0-4]\d|1\d\d|[1-9]?\d)(\.(25[0-5]|2[0-4]\d|1\d\d|[1-9]?\d)){3}))|:))|(([0-9A-Fa-f]{1,4}:){3}(((:[0-9A-Fa-f]{1,4}){1,4})|((:[0-9A-Fa-f]{1,4}){0,2}:((25[0-5]|2[0-4]\d|1\d\d|[1-9]?\d)(\.(25[0-5]|2[0-4]\d|1\d\d|[1-9]?\d)){3}))|:))|(([0-9A-Fa-f]{1,4}:){2}(((:[0-9A-Fa-f]{1,4}){1,5})|((:[0-9A-Fa-f]{1,4}){0,3}:((25[0-5]|2[0-4]\d|1\d\d|[1-9]?\d)(\.(25[0-5]|2[0-4]\d|1\d\d|[1-9]?\d)){3}))|:))|(([0-9A-Fa-f]{1,4}:){1}(((:[0-9A-Fa-f]{1,4}){1,6})|((:[0-9A-Fa-f]{1,4}){0,4}:((25[0-5]|2[0-4]\d|1\d\d|[1-9]?\d)(\.(25[0-5]|2[0-4]\d|1\d\d|[1-9]?\d)){3}))|:))|(:(((:[0-9A-Fa-f]{1,4}){1,7})|((:[0-9A-Fa-f]{1,4}){0,5}:((25[0-5]|2[0-4]\d|1\d\d|[1-9]?\d)(\.(25[0-5]|2[0-4]\d|1\d\d|[1-9]?\d)){3}))|:)))(%.+)?
IPV4 (?<[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-oxyXELPe-1664515069810)(?:[0-1]?[0-9]{1,2}|2[0-4][0-9]|25[0-5])][.](?:[0-1]?[0-9]{1,2}|2[0-4][0-9]|25[0-5])[.](?:[0-1]?[0-9]{1,2}|2[0-4][0-9]|25[0-5]))(?![0-9])
IP (?:%{IPV6}|%{IPV4})
HOSTNAME \b(?:[0-9A-Za-z][0-9A-Za-z-]{0,62})(?:\.(?:[0-9A-Za-z][0-9A-Za-z-]{0,62}))*(\.?|\b)
IPORHOST (?:%{IP}|%{HOSTNAME})
HOSTPORT %{IPORHOST}:%{POSINT}
# paths
PATH (?:%{UNIXPATH}|%{WINPATH})
UNIXPATH (/([\w_%!$@:.,+~-]+|\\.)*)+
TTY (?:/dev/(pts|tty([pq])?)(\w+)?/?(?:[0-9]+))
WINPATH (?>[A-Za-z]+:|\\)(?:\\[^\\?*]*)+
URIPROTO [A-Za-z]([A-Za-z0-9+\-.]+)+
URIHOST %{IPORHOST}(?::%{POSINT:port})?
# uripath comes loosely from RFC1738, but mostly from what Firefox
# doesn't turn into %XX
URIPATH (?:/[A-Za-z0-9$.+!*'(){},~:;=@#%&_\-]*)+
#URIPARAM \?(?:[A-Za-z0-9]+(?:=(?:[^&]*))?(?:&(?:[A-Za-z0-9]+(?:=(?:[^&]*))?)?)*)?
URIPARAM \?[A-Za-z0-9$.+!*'|(){},~@#%&/=:;_?\-\[\]<>]*
URIPATHPARAM %{URIPATH}(?:%{URIPARAM})?
URI %{URIPROTO}://(?:%{USER}(?::[^@]*)?@)?(?:%{URIHOST})?(?:%{URIPATHPARAM})?
# Months: January, Feb, 3, 03, 12, December
MONTH \b(?:[Jj]an(?:uary|uar)?|[Ff]eb(?:ruary|ruar)?|[Mm](?:a|ä)?r(?:ch|z)?|[Aa]pr(?:il)?|[Mm]a(?:y|i)?|[Jj]un(?:e|i)?|[Jj]ul(?:y)?|[Aa]ug(?:ust)?|[Ss]ep(?:tember)?|[Oo](?:c|k)?t(?:ober)?|[Nn]ov(?:ember)?|[Dd]e(?:c|z)(?:ember)?)\b
MONTHNUM (?:0?[1-9]|1[0-2])
MONTHNUM2 (?:0[1-9]|1[0-2])
MONTHDAY (?:(?:0[1-9])|(?:[12][0-9])|(?:3[01])|[1-9])
# Days: Monday, Tue, Thu, etc...
DAY (?:Mon(?:day)?|Tue(?:sday)?|Wed(?:nesday)?|Thu(?:rsday)?|Fri(?:day)?|Sat(?:urday)?|Sun(?:day)?)
# Years?
YEAR (?>\d\d){1,2}
HOUR (?:2[0123]|[01]?[0-9])
MINUTE (?:[0-5][0-9])
# '60' is a leap second in most time standards and thus is valid.
SECOND (?:(?:[0-5]?[0-9]|60)(?:[:.,][0-9]+)?)
TIME (?!<[0-9])%{HOUR}:%{MINUTE}(?::%{SECOND})(?![0-9])
# datestamp is YYYY/MM/DD-HH:MM:SS.UUUU (or something like it)
DATE_US %{MONTHNUM}[/-]%{MONTHDAY}[/-]%{YEAR}
DATE_EU %{MONTHDAY}[./-]%{MONTHNUM}[./-]%{YEAR}
ISO8601_TIMEZONE (?:Z|[+-]%{HOUR}(?::?%{MINUTE}))
ISO8601_SECOND (?:%{SECOND}|60)
TIMESTAMP_ISO8601 %{YEAR}-%{MONTHNUM}-%{MONTHDAY}[T ]%{HOUR}:?%{MINUTE}(?::?%{SECOND})?%{ISO8601_TIMEZONE}?
DATE %{DATE_US}|%{DATE_EU}
DATESTAMP %{DATE}[- ]%{TIME}
TZ (?:[APMCE][SD]T|UTC)
DATESTAMP_RFC822 %{DAY} %{MONTH} %{MONTHDAY} %{YEAR} %{TIME} %{TZ}
DATESTAMP_RFC2822 %{DAY}, %{MONTHDAY} %{MONTH} %{YEAR} %{TIME} %{ISO8601_TIMEZONE}
DATESTAMP_OTHER %{DAY} %{MONTH} %{MONTHDAY} %{TIME} %{TZ} %{YEAR}
DATESTAMP_EVENTLOG %{YEAR}%{MONTHNUM2}%{MONTHDAY}%{HOUR}%{MINUTE}%{SECOND}
# Syslog Dates: Month Day HH:MM:SS
SYSLOGTIMESTAMP %{MONTH} +%{MONTHDAY} %{TIME}
PROG [\x21-\x5a\x5c\x5e-\x7e]+
SYSLOGPROG %{PROG:program}(?:\[%{POSINT:pid}\])?
SYSLOGHOST %{IPORHOST}
SYSLOGFACILITY <%{NONNEGINT:facility}.%{NONNEGINT:priority}>
HTTPDATE %{MONTHDAY}/%{MONTH}/%{YEAR}:%{TIME} %{INT}
# Shortcuts
QS %{QUOTEDSTRING}
# Log formats
SYSLOGBASE %{SYSLOGTIMESTAMP:timestamp} (?:%{SYSLOGFACILITY} )?%{SYSLOGHOST:logsource} %{SYSLOGPROG}:
# Log Levels
LOGLEVEL ([Aa]lert|ALERT|[Tt]race|TRACE|[Dd]ebug|DEBUG|[Nn]otice|NOTICE|[Ii]nfo|INFO|[Ww]arn?(?:ing)?|WARN?(?:ING)?|[Ee]rr?(?:or)?|ERR?(?:OR)?|[Cc]rit?(?:ical)?|CRIT?(?:ICAL)?|[Ff]atal|FATAL|[Ss]evere|SEVERE|EMERG(?:ENCY)?|[Ee]merg(?:ency)?)

官方提供的表达式：https://github.com/elastic/logstash/blob/v1.4.2/patterns/grok-patterns
语法解释：

%{HOSTNAME:xxx}，匹配请求的主机名
%{TIMESTAMP_ISO8601:xxx},代表时间戳
%{LOGLEVEL:xxx}，代表日志级别
%{URIPATHPARAM:xxx}，代表请求路径
%{INT:xxx}，代表字符串整数数字大小
%{NUMBER:xxx}， 可以匹配整数或者小数

%{UUID:xxx}，匹配类似091ece39-5444-44a1-9f1e-019a17286b48
%{IP:xxx}, 匹配ip
%{WORD:xxx}, 匹配请求的方式
%{GREEDYDATA:xxx},匹配所有剩余的数据
(?([\S+]*))，自定义正则
\s*或者\s+,代表多个空格
\S+或者\S*,代表匹配多个字符

\w+或者\w*，代表匹配多个字母
大括号里面:xxx,相当于起别名

内置正则表达式说明参考：https://www.cnblogs.com/zhangan/p/11395056.html

时间问题处理

filebeat采集会有一个采集时间@timeStamp，日志中也有一个日志时间，根据grok解析出设置为time字段，这两个时间会有存在差异。
@timestamp为采集时间，不是日志产生的真实时间。
@timestamp为日期类型，在Kibana中可以根据该字段排序，但解析出的time为字符串类型，无法排序。
@timestamp为国际标准时间，中国采用东八区时间，要保持一致需将@timestamp时间加上八个小时。
为了在Kibana中根据日志实际时间排序，将time替换@timestamp，但@timestamp为东八区类型，替换后自动减8小时，所以需要再加8小时：

#日志中时间time替换采集时间@timestamp，@timestamp固定为国际标准时间，替换后自动减8小时
     date {
       match => ["time", "yyyy-MM-dd HH:mm:ss.SSS"]
       #match => ["message","UNIX_MS"]
       target => "@timestamp"
    }
    #转换为东八区时间：加8个小时
    ruby {
        code => "event.set('timestamp', event.get('@timestamp').time.localtime + 8*60*60)"
    }
    ruby {
        code => "event.set('@timestamp',event.get('timestamp'))"
    }
     mutate {
       remove_field => ["timestamp"]
    }

或者再kibana中设置时区，将自动转换时间无需手动加8小时，根据实际自行选择，Kibana中设置时区如下图:

在这里插入图片描述

3.4、输出配置

使用Elasticsearch作为输出，配置如下：

output {
  elasticsearch {
    hosts => ["192.168.1.1:9200","192.168.1.2:9200","192.168.1.2:9200"]
    index => "%{[fields][project]}-%{+YYYY.MM.dd}"
    #user => "elastic"
    #password => "******"
  }
  #测试时控制台输出，方便调试
  stdout {}
}

配置如上，每天新建一个索引，索引名为项目名称-日期，使用%{+YYYY.MM.dd}自动获取时间则必须保留@timestamp字段，否则获取不到时间。

4、K8S部署

k8s部署Logstash：

---
apiVersion: apps/v1
kind: Deployment
metadata:
  annotations:
    k8s.kuboard.cn/displayName: logstash-log-collection
  labels:
    k8s.kuboard.cn/name: logstash-log-collection
  name: logstash-log-collection
  namespace: log-collect-test
  resourceVersion: '22063161'
spec:
  progressDeadlineSeconds: 600
  replicas: 0
  revisionHistoryLimit: 10
  selector:
    matchLabels:
      k8s.kuboard.cn/name: logstash-log-collection
  strategy:
    rollingUpdate:
      maxSurge: 25%
      maxUnavailable: 25%
    type: RollingUpdate
  template:
    metadata:
      annotations:
        kubectl.kubernetes.io/restartedAt: '2022-09-02T15:46:04+08:00'
      creationTimestamp: null
      labels:
        k8s.kuboard.cn/name: logstash-log-collection
    spec:
      containers:
        - image: 'docker.elastic.co/logstash/logstash:8.3.2'
          imagePullPolicy: IfNotPresent
          name: logstash
          resources: {}
          terminationMessagePath: /dev/termination-log
          terminationMessagePolicy: File
          volumeMounts:
            - mountPath: /usr/share/logstash/config
              name: config
            - mountPath: /usr/share/logstash/pipeline
              name: pipeline
      dnsPolicy: ClusterFirst
      restartPolicy: Always
      schedulerName: default-scheduler
      securityContext: {}
      terminationGracePeriodSeconds: 30
      volumes:
        - configMap:
            defaultMode: 420
            items:
              - key: logstash.conf
                path: logstash.conf
            name: logstash-config
          name: pipeline

使用configMap作为数据卷挂载配置文件。
注意： Logstash在虚机中与在k8s容器中目录结构不一样！！！
虚机中配置文件路径/config/logstash.conf
k8s容器中配置文件路径/pileline/logstash.conf。

shallwe小威
关注
  • 1
    点赞
  • 踩
  • 7
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
原理实践，全面讲解Logstash+Kibana+kafka
lt_xiaodou的博客
10-10 3514
Logstash是一款轻量级的日志搜集处理框架，可以方便的把分散的、多样化的日志搜集起来，并进行自定义的处理，然后传输到指定的位置，比如某个服务器或者文件。而在官网，对于Logstash的介绍更是完整，我这里就展示一下官网的介绍输入：采集各种样式、大小和来源的数据过滤器：实时解析和转换数据输出：选择你的存储，导出你的数据而在官网的介绍中，最让我兴奋的就是可扩展性，Logstash 采用可插拔框架，拥有 200 多个插件。
ELK+FileBeat+Kafka分布式系统搭建图文教程.docx
06-06
ELK+FileBeat+Kafka分布式系统搭建图文教程 本教程详细记录了ELK+FileBeat+Kafka分布式系统的搭建流程和步骤，为大家快速上手提供了详细的指导。本系统由FileBeat、Kafka、Logstash、Elasticsearch、Kibana五个组件...
使用Filebeat+Kafka+Logstash+Elasticsearch构建日志分析系统
深圳市多克创新科技有限公司
11-14 1091
使用Filebeat+Kafka+Logstash+Elasticsearch构建日志分析系统
构建ELK+Filebeat+kafka+zookeeper大数据日志分析平台
最新发布
无名小生
06-19 375
【代码】构建ELK+Filebeat+kafka+zookeeper大数据日志分析平台。
【转】Filebeat+Kafka+Logstash+ElasticSearch+Kibana 日志采集方案
Jomly Kellenda的博客
04-26 2891
前言　　 　　Elastic Stack 提供 Beats 和 Logstash 套件来采集任何来源、任何格式的数据。其实Beats 和 Logstash的功能差不多，都能够与 Elasticsearch 产生协同作用，而且 logstash比filebeat功能更强大一点，2个都使用是因为：Beats 是一个轻量级的采集器，支持从边缘机器向 Logstash 和 Elasticsearch ...
logstash使用总结
csdncjh的博客
06-11 3716
如下实现了取@timestamp的天，动态创建index索引以itemId字段作为索引idlush_size和两个参数共同控制 Logstash 向 Elasticsearch 发送批量数据的行为。以上面示例来说：Logstash 会努力攒到 5条数据一次性发送出去，但是如果 5秒钟内也没攒够 5条，Logstash 还是会以当前攒到的数据量发一次。flush_size的大小不能超过 Logstash 运行时的命令行参数设置的batch_size，否则将以batch_size为批量发送的大小。
大数据运维实战第二十一课 Filebeat+Kafka+ZooKeeper+Logstash+Elasticsearch+Kibana 构建可视化日志分析系统
fegus的博客
08-19 1626
本课时主要介绍了生产环境下的 EFLK 应用架构收集 Nginx 日志的应用案例。首先讲解了 Nginx 日志如何进行字段分割，然后介绍了如何通过 Filebeat 收集 Nginx 日志并传送到 Kafka 集群中，接着介绍了如何通过 Logstash 从 Kafka 中消费日志，并将日志进行字段分割，同时传送到 Elasticsearch 中进行存储和查询，最后介绍了如何在 Kibana 中展示日志和查询日志。
filebeat+kafka+logstash部署案例
Jepson的博客
07-08 4148
组件介绍： Filebeat负责从web服务器上实时抓取数据，当log文件发生变化时，将文件内容吐给kafka。 Kafka是消息队列，主要作用是在filebeat和logstash之间做缓存，避免因写入logstash的数据量过大，导致数据丢失。 Zookeeper是kafka的分发系统，他负责维护整个kafka集群的负载均衡，在部署的时候，每个kafka节点上都要单独安装zookeeper，同...
elk+filebeat+kafka日志系统搭建.docx
07-05
本文将详细介绍如何在Linux环境下搭建ELK（Elasticsearch、Logstash、Kibana）+Filebeat+kafka日志系统。这个系统能够有效地收集、处理、存储和分析系统的日志数据，帮助监控和排查问题。 1. **Elasticsearch**：...
StirngBoot+ELK+Kafka记录日志，超详细搭建过程！
01-20
该系统通过整合SpringBoot应用的日志记录、Kafka的消息中间件、ELK(Elasticsearch、Logstash、Kibana)组件，实现了日志的实时流处理和可视化分析。 1. **可视化展示日志**：Kibana作为ELK堆栈的一部分，提供了一个...
filebeat+kafka+ELK 6.2.4版本安装与部署
07-16
ELK日志系统搭建：filebeat -> kafka -> logstash -> elasticsearch -> kibana
ELK+FileBeat+Kafka分布式系统搭建图文教程.pdf
06-15
1.filebeat收集需要提取的日志文件，将日志文件转存到kafka集群中，logstash处理kafka日志，格式化处理，并将日志输出到elasticsearch中，前台页面通过kibana展示日志。 2.使用kafka集群做缓存层，而不是直接将...
Filebeat, Kafka, Logstash, ElasticSearch: 构建实时日志监控系统
weixin_54104864的博客
08-02 297
近年来，大数据的处理和分析变得越来越重要。: Filebeat是一个轻量级的、开源的日志文件数据搬运工具，可以监控和收集日志数据，然后迅速发送给Logstash进行解析，或者直接发送给Elasticsearch进行索引。通过这样的系统，我们可以实现实时的日志收集、处理和分析，及时发现和处理系统的问题，对业务运行情况进行实时监控，提高系统的稳定性和用户的体验。: Elasticsearch是一个开源的分布式搜索和分析引擎，适用于所有类型的数据，包括文本、数值、地理、结构化和非结构化数据。
logstash配置kafka
Admin
02-10 5227
文章目录logstash配置kafka logstash配置kafka 根据不同topic输出到不同的ES索引 # input插件需要监听Logstash进程所在节点的端口，请使用8000~9000范围内的端口。 input { kafka { bootstrap_servers => '10.0.24.111:9092' group_id => 'elk-dev' # 正则匹配topic topics_pattern => "elk-.*"
logstash集成kafka日志分析
fighting_xuan的博客
02-15 591
logstash
基于Filebeat、Kafka搭建ELK日志分析平台详细步骤
weixin_44178366的博客
03-17 2604
基于Filebeat、Kafka搭建ELK日志分析平台详细步骤
Logstash 篇之入门与运行机制
Biexiansheng的博客
04-18 830
1、Logstash是一个数据收集引擎，相当于是ETL工具。截图来源慕课，尊重版本从你我做起。 　　Logstash分为三个阶段，第一个阶段Input是数据采集、第二个阶段是Filter数据解析和转换，第三个阶段是Output数据输出。 2、Logstash中的Pipeline概念。 　　1）、Pipeline是指Input-filter-output的三个阶段处理流程。 　　2）、队列管理。 　　3）、插件生命周期管理。 3、Logstash中的Logstash Event概念..
ELK+kafka缓存收集日志
Mr.李的博客
06-30 692
kafka收集elk日志 Kafka是最初由Linkedin公司开发，是一个分布式、支持分区的（partition）、多副本的（replica），基于zookeeper协调的分布式消息系统，它的最大的特性就是可以实时的处理大量数据以满足各种需求场景; 之前搭建过Redis做为中间件来缓存日志，由于redis做消息队列并不是他的强项，日志量过多就会有他自己的瓶颈，不能很好的缓解es集群的压力，正规的企业还是会引进专业的kafka消息队列作为中间件，来满足PB级别的日志量。 kafka做消息系统的优势： 解
盘点一下我用kafka两年以来踩过的一些非比寻常的坑
bjmsb79的博客
07-28 78
根据以往积累的经验，我直接看了 kafka 的 topic 的数据，果然上面消息有积压，但这次每个 partition 都积压了 十几万 的消息没有消费，比以往加压的消息数量增加了 几百倍。但如果某种类型的消息，前面有N多种消息，需要判断多少次呀，这种判断跟订单系统的耦合性太强了，相当于要把他们系统的逻辑搬一部分到我们系统。如此一来，思路就变得清晰了：只要保证生产者写消息时，按照一定的规则写到同一个 partition ，不同的消费者读不同的 partition 的消息，就能保证生产和消费者消息的顺序。
filebeat配置文件
jialiu111111的博客
01-25 3554
filebeat.yml配置文件 # ============================== Filebeat inputs =============================== #input设置，支持Docker,Container,HTTP JSON,Log,Kafka,MQTT,NetFlow,Redis,TCP,DCP,Syslog,Stdin filebeat.inputs: #input类型，默认是log #一个type表示一个input，可以有多个 - type: log

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值