最近在折腾logstash,其处理流程不过于input、filter、output三个处理流程,以下是我翻译的几个常用的处理参数
output流之http
output {
http {
codec => ... # codec (optional), default: "plain"
content_type => ... # string (optional)
format => ... # string, one of ["json", "form", "message"] (optional), default: "json"
headers => ... # hash (optional)
http_method => ... # string, one of ["put", "post"] (required)
mapping => ... # hash (optional)
message => ... # string (optional)
url => ... # string (required)
verify_ssl => ... # boolean (optional), default: true
workers => ... # number (optional), default: 1
}
}
- codec: 数据类型,默认是“plain”,用来指定输出数据的类型
- content_type: 值类型是string,默认没有设置该参数,如果没有特别指明,json格式是application/json,form格式是application/x-www-form-urlencoded
- format: 值可以是json、form、message三种类型,默认是json。用来设置http body的格式,如果是form格式,http body会被影射成一个查询字符串(foo=bar&baz=fizz...),如果是message格式,http body会被格式化成事件???,否则,事件都是以json格式发送
- headers: 值类型是一个hash,默认是没有设置的。默认使用的格式如下:headers => ["X-My-Header", "%{host}"]
- http_method: 值可以是put或者post,默认没有设置。
- mapping: 值是一个hash,默认没有设置,该值可以让你选择事件的一个结构体或者部分发送,例如:mapping => ["foo", "%{host}", "bar", "%{type}"]
- message: 值是字符串,默认没有设置
- url: 值是一个字符串,默认没有设置。可以让你使用http或者https进行put或者post。
- verify_ssl: 值是布尔类型,默认是true,是否验证SSL
- workers: 值是一个数值。默认是1,用来设置工作者数目。
input流codec之json格式
input {
file {
codec => json {
charset => ["UTF-8"] (optional), default: "UTF-8"
}
}
}
- 被用来解析完全格式的json消息,如果json数据使用'\n'分割的,则可以使用json_lines
filter流之json
filter {
json {
add_field => ... # hash (optional), default: {}
add_tag => ... # array (optional), default: []
remove_field => ... # array (optional), default: []
remove_tag => ... # array (optional), default: []
source => ... # string (required)
target => ... # string (optional)
}
}
对一个包含json的字段,可以扩展成一个数据结构
- add_field: 值类型为hash,默认是{} 空。如果这个过滤成功了,会增加任意field到这个事件。例如:add_field => [ "foo_%{somefield}", "Hello world, from %{host}" ],如果这个事件有一个字段somefiled,它的值是hello,那么我们会增加一个字段foo_hello,字段值则用%{host}代替。
- add_tag: 值类型为array,默认是[] 空。执行成功会增加一个任意的tags到事件。例如:add_tag => [ "foo_%{somefield}" ]
- remove_field: 值类型为array,默认是[] 空,执行成功,删除一个field,例如:remove_tag => [ "foo_%{somefield}" ]
- source: 值类型为字符串,默认没有设置。
filter流之json_encode
filter {
json_encode {
add_field => ... # hash (optional), default: {}
add_tag => ... # array (optional), default: []
remove_field => ... # array (optional), default: []
remove_tag => ... # array (optional), default: []
source => ... # string (required)
target => ... # string (optional)
}
}
- 把一个field序列化成json格式。
filter流之grep
filter {
grep {
add_field => ... # hash (optional), default: {}
add_tag => ... # array (optional), default: []
drop => ... # boolean (optional), default: true
ignore_case => ... # boolean (optional), default: false
match => ... # hash (optional), default: {}
negate => ... # boolean (optional), default: false
remove_field => ... # array (optional), default: []
remove_tag => ... # array (optional), default: []
}
}
grep过滤器,如果你不想通过哪些事件可以把它drop掉,或者给每个匹配的事件增加tags和fields。如果negate的值是true,则匹配到的事件会被丢弃。
- add_field: 值类型是hash,默认是{} 空。过滤成功,会增加一个field到事件。例如:add_field => [ "foo_%{somefield}", "Hello world, from %{host}" ]
- add_tag: 值类型是array,默认是[] 空。过滤成功,会增加一个tags到事件,例如:add_tag => [ "foo_%{somefield}" ]
- drop: 值是布尔类型,默认是true。drop掉不匹配的事件,如果该值设置为false,则不会有事件被drop。
- ifnore_case: 值类型是布尔类型,默认是false。不区分大小写匹配,类似于grep -i,如果是true,则区分大小写
- match: 值是hash类型,默认是{} 空。一个hash匹配field=>regxp。如果有多个匹配,则必须所有的都成功。例如:match => [ "message", "hello world" ]
- negate: 值是布尔类型,默认值是false。类似于grep -v
- remove_field: 值是array类型,默认是[] 空。如果成功,删除一个fields。
- remove_tag: 值是array类型,同上。
filter流之grok
filter {
grok {
add_field => ... # hash (optional), default: {}
add_tag => ... # array (optional), default: []
break_on_match => ... # boolean (optional), default: true
drop_if_match => ... # boolean (optional), default: false
keep_empty_captures => ... # boolean (optional), default: false
match => ... # hash (optional), default: {}
named_captures_only => ... # boolean (optional), default: true
overwrite => ... # array (optional), default: []
patterns_dir => ... # array (optional), default: []
remove_field => ... # array (optional), default: []
remove_tag => ... # array (optional), default: []
tag_on_failure => ... # array (optional), default: ["_grokparsefailure"]
}
}