Logstash配置语法以及插件

Logstash配置语法以及插件
配置语法
处理输入的input
处理过滤的filter
处理输出的output
简单的配置语句:
input {
    stdin {
    }
}
output{
    stdout{
    }
}
语法格式
区域
用{}定义区域
区域内可定义插件

数据类型(布尔值,字符串,数值,数组,哈希)
布尔 boolean : ssl_enable => true 
字节 Bytes :my_bytes => "10MiB"  # 10485760 bytes
字符串 String:name => "Hello world“
数值 Number:port => 514
数组 Array:match => ["datetime", "UNIX", "ISO8601"]
哈希 Hash:
options => { 
    key1 => "value1",
    key2 => "value2"
}

编码解码: codec :codec => “json”
密码型: my_password => “password”
路径: my_path => "/tmp/logstash“
注释: #

条件判断
==(等于), !=(不等于), <(小于), >(大于), <=(小于等于), >=(大于等于)
=~(匹配正则), !~(不匹配正则)
in(包含), not in(不包含)
and(与), or(或), nand(非与), xor(非或)
():复合表达式,    !():对复合表达式结果取反

字段引用
Logstash 还支持变量内插,在字符串里使用字段引用的方法是这样
output{
   statsd {
       increment => "apache.%{[response][status]}"
   }
}

插件介绍
inputs       就是输入
codecs       就是解码
filters      就是过滤
outputs      输出
插件获取地址:
https://github.com/logstash-plugins 
在线安装:
/plugin install  logstash-input-jdbc
卸载插件:
/plugin uninstall  logstash-input-jdbc

淘宝源地址: https://ruby.taobao.org
gem sources --remove 
gem sources -a https://ruby.taobao.org/
gem sources -l

转载于:https://my.oschina.net/eddylinux/blog/600998

Logstash是一个开源的数据收集引擎,用于实时处理和转发日志和其他事件数据。它使用简单的配置文件来定义数据流的输入、过滤和输出。以下是Logstash的基本语法组成: 1. 输入插件(Input):用于从不同来源收集数据。常见的输入插件包括file(读取文件)、stdin(读取标准输入)、tcp(接收TCP数据)等。 2. 编码插件(Codec):用于解析和编码数据。它可以将数据从一种格式转换为另一种格式,例如将JSON数据解析为结构化数据。常见的编码插件包括json(解析JSON数据)、plain(纯文本编码)等。 3. 过滤器插件(Filter):用于对数据进行处理和转换。它可以根据条件过滤数据、添加字段、修改字段值等。常见的过滤器插件包括grok(通过正则表达式解析日志数据)、mutate(修改字段值)、date(解析日期字段)等。 4. 输出插件(Output):用于将处理后的数据发送到不同的目的地。常见的输出插件包括elasticsearch(发送数据到Elasticsearch)、stdout(输出到标准输出)、file(写入文件)等。 以下是一个示例配置文件,演示了Logstash的基本语法: ```shell input { file { path => "/var/log/nginx/access.log" start_position => "beginning" } } filter { grok { match => { "message" => "%{COMBINEDAPACHELOG}" } } } output { elasticsearch { hosts => ["localhost:9200"] index => "nginx-access-%{+YYYY.MM.dd}" } stdout { codec => rubydebug } } ``` 上述配置文件的含义是:从指定路径的文件中读取日志数据,使用grok插件解析日志数据,然后将处理后的数据发送到Elasticsearch,并在标准输出中打印调试信息。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值