logstash采集与清洗数据到elasticsearch案例实战

最新推荐文章于 2024-10-27 16:14:06 发布
最新推荐文章于 2024-10-27 16:14:06 发布
阅读量9.5k 收藏 12
点赞数 5
分类专栏： logstash 文章标签： elasticsearch logstash 数据清洗
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq1032355091/article/details/52953837
版权

Logstash的使用

logstash支持把配置写入文件 xxx.conf，然后通过读取配置文件来采集数据
./bin/logstash –f xxx.conf

logstash最终会把数据封装成json类型，默认会添加@timestamp时间字段、host主机字段、type字段。 原消息数据会整个封装进message字段。如果数据处理过程中，用户解析添加了多个字段，则最终结果又会多出多个字段。也可以在数据处理过程中移除多个字段， 总之，logstash最终输出的数据格式是json格式。

Logstash的结构

Logstash由 input，filter，output三个组件去完成采集数据
如下是一个logstash的配置实例： 
input {
	file {
		type => "log"
		path => "/log/*/*.log"
		discover_interval => 10
		start_position => "beginning" 
	}
}
filter {
} 
output {
    elasticsearch {
	index => "log-%{+YYYY.MM.dd}"
	hosts => ["172.16.0.14:9200", "172.16.0.15:9200", "172.16.0.16:9200"]
    }
	stdout {codec => rubydebug}
}

input

input组件负责读取数据，可以采用file插件读取本地文本文件，stdin插件读取标准输入数据，tcp插件读取网络数据，log4j插件读取log4j发送过来的数据等等。

filter

filter插件负责过滤解析input读取的数据，可以用grok插件正则解析数据，date插件解析日期，json插件解析json等等。

output

output插件负责将filter处理过的数据输出。可以用elasticsearch插件输出到es，rediss插件输出到redis，stdout插件标准输出，kafka插件输出到kafka等等
trade.log日志采集。


trade.log日志采集

配置内容如下：

input {
    file {
        type => "tradelog"
        path => "/home/elk/his/trade.log*"
        discover_interval => 5
        start_position => "beginning"
        
        sincedb_path => "/home/elk/myconf/sincedb_trade.txt"
        sincedb_write_interval => 15
        
        codec => plain { charset => "GB2312" }
    }    
}

filter {
    grok {
        match => { "message" => "%{DATESTAMP_CN:[@metadata][logdate]} .* - %{WORD:opeType}\|%{WORD:name}\|Oid: %{WORD:oid}\|IP: %{IP:ip}\|MAC: %{GREEDYDATA:mac}\|%{WORD:result}\|%{GREEDYDATA:exception}\|" }    
        match => { "message" => "%{DATESTAMP_CN:[@metadata][logdate]} .* - %{WORD:opeType}\|%{WORD:name}\|Oid: %{WORD:oid}\|IP: %{IP:ip}\|MAC: %{GREEDYDATA:mac}\|%{WORD:result}\|"  }
        match => { "message" => "%{DATESTAMP_CN:[@metadata][logdate]} .* - %{WORD:opeType}\|%{WORD:name}\|Oid: %{WORD:oid}\|IP: %{IP:ip}\|MAC: %{GREEDYDATA:mac}\|"  }    
        match => { "message" => "%{DATESTAMP_CN:[@metadata][logdate]} .* - %{WORD:opeType}\|IP: %{IP:ip}\|MAC: %{GREEDYDATA:mac}\|%{WORD:result}\|"  }
        match => { "message" => "%{DATESTAMP_CN:[@metadata][logdate]} .* - %{WORD:opeType}\|IP: %{IP:ip}\|MAC: %{GREEDYDATA:mac}\|" }
        remove_field  => "message"
    }    
    date {
        match => ["[@metadata][logdate]", "YYYY-MM-dd HH:mm:ss,SSS"]
    }    
}

output {
    if "_grokparsefailure" not in [tags] and "_dateparsefailure" not in [tags] {
        stdout {codec => rubydebug}
        
        elasticsearch {
            index => "log4j-tradelog"
            hosts => ["168.7.1.67:9200"]
            manage_template => true
            template_overwrite => true
            template_name => "log4j-tradelog"
            template => "/home/elk/myconf/tradelog_template.json"
        }
    }    
}

input

1.    start_position：设置beginning保证从文件开头读取数据。
2.    path：填入文件路径。
3.    type：自定义类型为tradelog，由用户任意填写。
4.    codec：设置读取文件的编码为GB2312,用户也可以设置为UTF-8等等
5.    discover_interval：每隔多久去检查一次被监听的 path 下是否有新文件，默认值是15秒
6.    sincedb_path：设置记录源文件读取位置的文件，默认为文件所在位置的隐藏文件。
7.    sincedb_write_interval：每隔15秒记录一下文件读取位置

filter

日志格式如下：

2016-05-09 09:49:13,817 [] [ACTIVE] ExecuteThread: '1' for queue: 'weblogic.kernel.Default (self-tuning)' [INFO ] com.c.command.StartLogCommand.execute(StartLogCommand.java:46) - FrontPageFinProdListQry|IP: 192.168.1.105|MAC: A1345C05-26C1-4263-8845-01CFCA6EC4FD|
2016-05-09 09:49:13,928 [] [ACTIVE] ExecuteThread: '2' for queue: 'weblogic.kernel.Default (self-tuning)' [INFO ] com.c.command.EndLogCommand.execute(EndLogCommand.java:44) - FrontPageAdvertListQry|IP: 192.168.1.105|MAC: A1245C05-26C1-4263-8845-01CFCA6EC4FD|Success|

grok插件

因为该日志中有5种格式如下，以最后几个我需要的字段为例说明：

交易名|登录名|编号|ip地址|mac地址|返回结果|异常信息
交易名|登录名|编号|ip地址|mac地址|返回结果|
交易名|登录名|编号|ip地址|mac地址|
交易名|ip地址|mac地址|返回结果|
交易名|ip地址|mac地址|
所以采用5种正则规则去匹配，logstash默认会从上到下按规则去匹配，直到匹配上为止。 （日志中的多行错误信息，匹配不上，logstash会在tags字段添加”_ grokparsefailure”，所以后面输出的时候会用if条件判断过滤掉解析失败的行消息）


注意：5种正则规则的上下顺序，下面的规则放在上面会导致可能内容解析不全，比如源数据是：请求交易名|操作员登录名|操作员编号|ip地址|mac地址|返回结果|异常信息，如果按照“请求交易名|ip地址|mac地址|”规则去匹配，只能识别出3个字段，而且匹配成功，不继续往下执行，这样识别的内容就不全。

logstash内置了很多正则匹配规则，用户可以直接调用这些规则来解析，例如%{WORD:result} 表示调用WORD规则（即识别字符串规则）来解析并最后赋值给result字段（result字段会自动创建）。
    下面以第一条match规则为例来说明：

match => { "message" => "%{DATESTAMP_CN:[@metadata][logdate]} .* - %{WORD:opeType}\|%{WORD:name}\|Oid: %{WORD:oid}\|IP: %{IP:ip}\|MAC: %{GREEDYDATA:mac}\|%{WORD:result}\|%{GREEDYDATA:exception}\|" }

首先行首使用DATESTAMP_CN规则来识别时间，并赋值给logdate字段名；然后.*识别任意字符串（.代表任意一个字符，包括特殊字符，*代表个数是任意个）；然后使用WORD规则（即匹配字符串规则，不包含特殊字符）识别到字符串并赋值给opeType字段；后面同理。这些WORD、IP、GREEDYDATA规则都是logstash内部grok-patterns文件已经定义好了的规则。用户可以直接拿来使用。

注意：[@metadata]表示logdate这个字段在数据处理过程中只是一个临时字段，最后不会真的输出。避免了使用remove_field手动移除字段。

注意：logstash默认不支持”YYYY-MM-dd HH:mm:ss,SSS”格式的时间匹配，需要自己定义正则表达式到logstash-2.3.1/vendor/bundle/jruby/1.9/gems/logstash-patterns-core-2.0.5/patterns/grok-patterns文件中。grok-patterns文件中追加2行内容： 
DATE_CN %{YEAR}[./-]%{MONTHNUM}[./-]%{MONTHDAY}
DATESTAMP_CN %{DATE_CN} %{TIME}

注意：logstash的正则表达式采用ruby语言正则表达式，具体语法可以参考网上。

remove_field  => "message"表示解析完成之后删除原来的 message字段，避免重复。

date插件

match => ["[@metadata][logdate]", "YYYY-MM-dd HH:mm:ss,SSS"]
logstash默认的时间字段是@timestamp,如果不设置的话，默认是数据采集时候的时间，这里我们将日志打印的时间（即解析出的logdate字段的内容）设置为@timestamp内容，方便之后kibana根据时间检索。

注意：解析出来的@timestamp会比实际时间早8个小时，这是内置utc时间格式问题，kibana页面展示的时候会根据浏览器当前时区自动转换回来，这里不作处理。

output

    if "_grokparsefailure" not in [tags] and "_dateparsefailure" not in [tags] {
        stdout {codec => rubydebug}
        
        elasticsearch {
            index => "log4j-tradelog"
            hosts => ["134.7.1.67:9200"]
            manage_template => true
            template_overwrite => true
            template => "/home/elk/myconf/tradelog_template.json"
        }
    }
前面提到过，如果grok解析失败，会在tags字段自动添加_grokparsefailure值，如果date解析失败，会在tags字段自动添加_dateparsefailure值。所以最后的输出，我们采用条件过滤掉解析失败的行内容。最终的每一行内容解析成json，一路存入elasticsearch，另一路进行标准输出。

elasticsearch插件

index：要导入的es索引
host：es地址，有多个节点配置多个节点
template：指定elasticsearch的mapping模板文件，如果该索引不存在，logstash会根据这个mapping模板去自动创建索引。

stdout插件

rubydebug标准输出，便于调试，可以不使用该插件。

最终解析出结果示例如下：

{
      "@version" => "1",
    "@timestamp" => "2016-05-09T01:44:48.366Z",
          "path" => "/home/elk/e.log",
          "host" => "ccc7",
          "type" => "tradelog",
       "opeType" => "WZQry",
          "name" => "lhcsssz2",
           "oid" => "abzzak",
            "ip" => "192.168.44.105",
           "mac" => "A1345C05-26C1-4253-8845-01CFCA8EC4FD",
        "result" => "Success"
}

error.log采集

日志实例：

2016-09-29 17:13:24,184|ncid=1100343164|oid=acaatv|loginName=zhenglw1|transId=Withdraw|traceId=N/A-_A-88C4D-043|exceptType=com.intenft.exception.AppRTException|exceptCode=CORESYST_TXN_NATIVE_89042|exceptMsg=对不起！记录没有找到

配置文件如下： 
input {
    file {
        path => "/home/elk/his/error.log*"
        type => "errorlog"
        start_position => "beginning"
        discover_interval => 5
        
        codec => multiline {
            charset => "GB2312"
            pattern => "^%{DATESTAMP_CN}"
            negate => true
            what => "next"        
        }
        
        sincedb_path => "/home/elk/myconf/sincedb_error.txt"
        sincedb_write_interval => 15
    }    
}

filter {
    grok {
        match => { "message" => "%{DATESTAMP_CN:[@metadata][logdate]}%{GREEDYDATA:[@metadata][keyvalue]}" }
        remove_field  => "message"
    }    
    date {
        match => ["[@metadata][logdate]", "YYYY-MM-dd HH:mm:ss,SSS"]
    }
    kv {
        source => "[@metadata][keyvalue]"
        field_split => "\|"
        value_split => "="
    }
}

output {
    if "multiline" in [tags] {
        stdout {codec => rubydebug}
        elasticsearch {
            index => "log4j-errorlog-3"
            hosts => ["168.7.1.67:9200"]
            manage_template => true
            template_overwrite => true
            template => "/home/elk/myconf/errorlog_template.json"
        }
    }    
}

input

8.    start_position：设置beginning保证从文件开头读取数据。
9.    path：填入文件路径。
10.    type：自定义类型为tradelog，由用户任意填写。
11.    codec：multiline插件
12.    discover_interval：每隔多久去检查一次被监听的 path 下是否有新文件，默认值是15秒
13.    sincedb_path：设置记录源文件读取位置的文件，默认为文件所在位置的隐藏文件。
14.    sincedb_write_interval：每隔15秒记录一下文件读取位置

multiline插件

logstash默认读取一行内容为一个消息，因为错误日志包含堆栈信息，多行对应一个消息，所以使用该插件合并多行为一条消息。
pattern：以”YYYY-MM-dd HH:mm:ss,SSS”格式开头的匹配为一条消息。
negate：true 表示正向使用该patttern
what：匹配到的日期属于下一条消息
charset：设置文件编码

filter

grok插件

匹配日期到logdata字段，匹配剩下的所有字符串到keyvalue临时字段，”GREEDYDATA”正则表达式为”.*”

date插件

match => ["[@metadata][logdate]", "YYYY-MM-dd HH:mm:ss,SSS"]
logstash默认的时间字段是@timestamp,如果不设置的话，默认是数据采集时候的时间，这里我们将日志打印的时间（即解析出的logdate字段的内容）设置为@timestamp内容，方便之后kibana根据时间检索。

注意：解析出来的@timestamp会比实际时间早8个小时，这是内置utc时间格式问题，kibana页面展示的时候会根据浏览器当前时区自动转换回来，这里不作处理。

kv插件

source：解析前面grok获取的keyvalue字段

（比如：|ncid=1100783164|oid=acaatv|loginName=zhew1|transId=Withdraw|traceId=N/A-_A-88C4D-043|exceptType=com.inteft.exception.AppRTException|exceptCode=CORESYST_TXN_NATIVE_89042|exceptMsg=对不起！记录没有找到）

field_split：按”|”切分key-value对
value_split：按”=”切分key 和 value，最终切分出来key作为字段名，value作为字段值

output

output {
	if "multiline" in [tags] {
		stdout {codec => rubydebug}
		elasticsearch {
			index => "log4j-errorlog-3"
			hosts => ["168.7.1.67:9200"]
			manage_template => true
			template_overwrite => true
			template => "/home/elk/myconf/errorlog_template.json"
		}
	}	
}

该日志有2种格式的日志，一种是单行的错误信息日志，一种是多行的包含堆栈信息的日志，这2种日志内容重复，那么只需要解析单行格式的日志。kv插件解析多行格式的日志时， tags字段里没有”multipline”值（原因是因为grok解析的时候不能解析换行符），所以可以通过if条件判断tags字段是否有”multipline”值，来过滤掉多行格式的日志。

elasticsearch插件

index：要导入的es索引
host：es地址，有多个节点配置多个节点
template：指定elasticsearch的mapping模板文件，如果该索引不存在，logstash会根据这个mapping模板去自动创建索引。

最终解析的结果示例如下：

{
    "@timestamp" => "2016-09-29T09:14:22.194Z",
      "@version" => "1",
          "tags" => [
        [0] "multiline"
    ],
          "path" => "/home/elk/stst.log",
          "host" => "ci7",
          "type" => "sttlog",
          "ncid" => "1143164",
           "oid" => "acav",
     "loginName" => "zhew1",
       "transId" => "MyQuery",
       "traceId" => "N/A8C4E-047",
    "exceptType" => "com.exception.AppRTException",
    "exceptCode" => "CORESYNATIVE_82243",
     "exceptMsg" => "对不起！根据账号获取客户信息错误"
}

总结：

注意：

logstash filter中的每一个插件都有add_field,remove_field,add_tag,remove_tag  4个功能。


附录：

mapping模板文件

tradelog:

{
	"template": "log4j-tradelog*",
	"settings": {
		"index.number_of_shards": 3,
		"number_of_replicas": 0
	},
	"mappings": {
		"tradelog": {
			"_all": {
				"enabled": false
			},
			"properties": {
				"@timestamp": {
					"type": "date",
					"format": "strict_date_optional_time||epoch_millis",
					"doc_values": true
				},
				"@version": {
					"type": "string",
					"index": "not_analyzed"
				},
				"exception": {
					"type": "string",
					"index": "analyzed"
				},
				"path": {
					"type": "string",
					"index": "not_analyzed"
				},
				"host": {
					"type": "string",
					"index": "not_analyzed"
				},
				"ip": {
					"type": "ip",
					"index": "not_analyzed"
				},
				"logger_name": {
					"type": "string",
					"index": "not_analyzed"
				},
				"mac": {
					"type": "string",
					"index": "not_analyzed"
				},
				"name": {
					"type": "string",
					"index": "not_analyzed"
				},
				"oid": {
					"type": "string",
					"index": "not_analyzed"
				},
				"opeType": {
					"type": "string",
					"index": "not_analyzed"
				},
				"priority": {
					"type": "string",
					"index": "not_analyzed"
				},
				"result": {
					"type": "string",
					"index": "not_analyzed"
				},
				"type": {
					"type": "string",
					"index": "not_analyzed"
				}
			}
		}
	}
}

errorlog:

{
	"template": "log4j-errorlog*",
	"settings": {
		"index.number_of_shards": 3,
		"number_of_replicas": 0
	},
	"mappings": {
		"errorlog": {
			"_all": {
				"enabled": false
			},
			"properties": {
				"host": {
					"type": "string",
					"index": "not_analyzed"
				},
				"ncid": {
					"type": "string",
					"index": "not_analyzed"
				},
				"type": {
					"type": "string",
					"index": "not_analyzed"
				},
				"@version": {
					"type": "string",
					"index": "not_analyzed"
				},
				"exceptType": {
					"type": "string",
					"index": "not_analyzed"
				},
				"@timestamp": {
					"format": "strict_date_optional_time||epoch_millis",
					"type": "date"
				},
				"exceptCode": {
					"type": "string",
					"index": "not_analyzed"
				},
				"transId": {
					"type": "string",
					"index": "not_analyzed"
				},
				"priority": {
					"type": "string",
					"index": "not_analyzed"
				},
				"oid": {
					"type": "string",
					"index": "not_analyzed"
				},
				"traceId": {
					"type": "string",
					"index": "not_analyzed"
				},
				"exceptMsg": {
					"type": "string",
					"index": "analyzed"
				},
				"path": {
					"type": "string",
					"index": "not_analyzed"
				},
				"logger_name": {
					"type": "string",
					"index": "not_analyzed"
				},
				"loginName": {
					"type": "string",
					"index": "not_analyzed"
				}
			}
		}
	}
}



华山令狐虫
关注
专栏目录
ElasticSearch案例：社交网络数据挖掘与分析实战
AI天才研究院
02-19 171
该系统是一个基于ElasticSearch的社交网络数据挖掘与分析平台。它通过分布式爬虫从各大社交媒体平台实时采集数据,利用ElasticSearch强大的存储和检索能力进行数据处理和分析,最终通过Web界面和API为用户提供丰富的数据挖掘和分析功能。fill:#333;color:#333;color:#333;fill:none;社交媒体平台数据采集层数据处理层ElasticSearch集群分析引擎应用服务层展示层API层。
ElasticSearch与Kibana的数据清洗与处理
AI架构设计之禅
08-20 393
ElasticSearch与Kibana的数据清洗与处理 作者：禅与计算机程序设计艺术 / Zen and the Art of Computer Programming 1. 背景介绍 1.1 问题的由来
2021-11-01Logstash关于日志清洗记录学习及应用
weixin_52116589的博客
11-01 1110
logstash日志清洗： 公司目前给我日志清洗任务，给了我乱七八糟资料之后看的一脸懵，最后决定自己动手整理整理这样有头绪点，记录一下自己学习过程。其中涉及到一些ip内容的我都改为ip，其他保持一致，欢迎大家一起讨论，我也是刚开始学习这个，如有写的不对请多指教。 一、学习阶段 1、首先理解logstash中各个语法： 事件：Logstash 每读取一次数据的行为叫做事件。 1）**Input：**输入插件，允许一个特定的事件源可以读取到 Logstash 管道中。 支持多种数据源：stdin，file，tc
logstash消费kafka过程中对数据的一些常规清洗和处理
xufwind的博客
11-22 1720
logstash通过插件的形式来配置input，filter，output，在消费数据后，如果需要对数据做处理,需要用到filter的很多功能。最近使用logstash传递kafka数据到es时，了解了一些logstash处理数据的方式，以下logstash的config做个简单分享: input { kafka { bootstrap_servers => "...
【Elasticsearch系列廿】Logstash 学习
热门推荐
檀越的博客
09-23 1万+
下载地址输入插件地址过滤器插件输出插件logstash 是一个数据抽取工具，将数据从一个地方转移到另一个地方。如 hadoop 生态圈的 sqoop 等。logstash 之所以功能强大和流行，还与其丰富的过滤器插件是分不开的，过滤器提供的并不单单是过滤的功能，还可以对进入过滤器的原始数据进行复杂的逻辑处理，甚至添加独特的事件到后续流程中。Logstash 配置文件有如下三部分组成，其中 input、output 部分是必须配置，filter 部分是可选配置，而 filter 就是过滤器插件。
Logstash-借助数据采集工具拉取数据至目标存储库中
weixin_48822471的博客
09-02 1113
logstash是免费且开放的服务器端数据处理管道，能够从多个来源采集数据，转换数据，然后将数据发送到您最喜欢的“存储库”中。
elastic产品之 logstash(数据收集引擎) 及其插件初识 —— 大数据、数据清洗
BenBenHaoBa的博客
09-27 397
一、Logstash简介 1、官方介绍 官方文档：https://www.elastic.co/guide/en/logstash/current/introduction.html 2、由我介绍 简单的来说 logstash 主要用来对数据的接收、处理、发送三个操作，即配置文件中的input、filter、output 三项内容。 二、Logstash安装使用 logstash 运...
Logstash对nginx的access/error.log日志清洗并数据可视化监控设计
weixin_34128237的博客
05-15 2240
Nginx有两套日志，一套access.log一套error.log，access.log用户可以自定义，两套日志处理好，业务的质量就了然于心了，另外，日志关键指标可视化分析我认为是运维中最重要的事情了，没有之一。对于后期的可视化监控，核心观点两个字“收敛”，工具用grafana，把最有用的关键指标放到dashboard上，我线上设计的一个版面如下，由于日志量大，200 ok...
ELK Stack深度解析：Elasticsearch、Logstash与Kibana实战
此外，还涉及Logstash的数据采集实战和Kibana的数据可视化实践，以及ELK的整体流程项目，涵盖了从数据采集到集群部署的完整过程。 学习这门课程将有助于你掌握ELK Stack的全面知识，包括如何设置和优化ELK环境，...
【大数据】Flink + Kafka 实现通用流式数据处理详解
最新发布
congge
10-27 5498
Flink + Kafka 实现通用流式数据处理详解
AI系统日志管理原理与代码实战案例讲解
AI天才研究院
10-05 1102
AI系统日志管理原理与代码实战案例讲解 作者：禅与计算机程序设计艺术 / Zen and the Art of Computer Programming 1. 背景介绍 1.1 问题的由来 随着人工智能技术的飞速发展，AI系
ElasticSearch Logstash原理与代码实例讲解
AI天才研究院
07-03 351
Logstash算法的核心在于高效地处理和转换输入数据。事件驱动：Logstash通过事件驱动模型运行，这意味着它不断地读取输入事件并进行处理，直到收到停止信号或达到预期的行为。流水线模式：数据处理采用流水线模式，即事件经过一系列的过滤和转换后，最终输出。Logstash作为Elastic Stack的核心组件，实现了高效、灵活的日志数据处理能力，为数据驱动的决策提供了基础。
Logstash常见的数据过滤情形及导入Elasticsearch数据库
aosimth的博客
05-31 1022
Logstash安装 下载并解压安装包 wget https://artifacts.elastic.co/downloads/logstash/logstash-5.4.1.tar.gz tar -zxf logstash-6.2.2.tar.gz 测试安装是否成功 在logstash文件的bin目录下执行如下命令（参数-e:立即执行，使用命令行里的配置参数启动实例） ./logstash -e 'input { stdin {} } output { stdout {} }' 测试结果 格式化输
Logstash常用语法使用介绍
Eric_W_的博客
04-07 938
Logstash常用语法使用样例介绍
logstash分析日志
seaboat——a free boat on the sea.（公众号：远洋号）
11-17 4740
待处理日志格式如下：[totalCount: 298006556, count: 287347623, queryCount: 259027994, exeCount: 28319629, totalQPS: 10000.0, QPS: 1.0, queryQPS: 1.0, exeQPS: 0.0] [totalCount: 298006556, count: 287347623, queryCo
logstash常见数据清洗配置
舒克的博客
06-29 2152
ogstash通过插件的形式来配置input，filter，output，在消费数据后，如果需要对数据做处理,需要用到filter的很多功能。最近使用logstash传递kafka数据到es时，了解了一些logstash处理数据的方式，以下logstash的config做个简单分享: input { kafka { bootstrap_servers => "xxx.xxx.xxx.xx:9092,yyy.yyy.yyy.yy:9092," ##kafka地址，可以是集群 ...
logstash 日志解析配置详解
深圳市多克创新科技有限公司
03-24 2200
logstash 日志解析配置详解
记一次logstash解析丢失全量字段message的情况
Mr.Bug的博客
08-06 1885
应用场景： kafka中存json数据，经logstash“丰富化”后，发送给es存储的过程，如果在input阶段就把数据转换为json，会造成后边处理数据的时候，无法获取全量字段（原始数据），。 input{ #异常登录json字符串数据 kafka { group_id => "test-consumer-group" #如果数据在 input阶段 进行 json格式转换，后面在进行数据处理的时候将会失去 全量字段（原始信息） #codec => "js
Logstash原理解析及实践
不积跬步无以致千里 不积小流无以成江海
03-02 1829
目录 Logstash概念 Logstash工作过程 Logstash简单实践 Logstash配置语法 数据类型 条件判断 Logstash插件 Input模块 标准输入 File插件 Http插件 Redis插件 Filter模块 Date插件 Grok插件 Dissect插件 Mutate插件 Json插件 Geoip插件 Output模块 标准输出 redis插件 elasticsearch插件 Logstash配置实例 Flume Flume的外
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值