Logstash通常被分为shipper和indexer两种角色,其中shipper负责收集转发日志至redis,而indexer负责将redis传送过来的日志输出到elasticSearch,如下图(图片来自网络,如有侵权,可联系我删除)
1、数据定义与类型
1)Logstash用 {} 来定义区域,用 字段名=>字段内容 来定义变量,变量都是以键值对的形式体现的,例如
- filter{
- mutate{
- add_field{
- debug=>true ##bool类型
- ip=>"192.168.1.1" ##string类型
- port=>5602 ##number类型
- }
- }
- }
2)Logstash支持少量的数据值类型
- debug=>true ##bool类型
- ip=>"192.168.1.1" ##string类型
- port=>5602 ##number类型
- match => ["windows", "linux", "mac"] ##array类型
- ##hash类型
- options => {
- today=>"Monday",
- tommrow=>"Tuesday"
- }
2、字段引用于条件判断
1)在logstash中引用一个字段,只需在[]里写上字段名即可,如
- if [port] == 5602 {
- ##...
- }
2)条件判断
- ==(等于), !=(不等于), <(小于), >(大于), <=(小于等于), >=(大于等于)
- =~(匹配正则), !~(不匹配正则)
- in(包含), not in(不包含)
- and(与), or(或), nand(非与), xor(非或)
- ()(复合表达式), !()(对复合表达式结果取反)
例如,我们经常会用到的一个判断:
- if "_grokparsefailure" not in [tags] {
- elasticsearch{
- ##...
- }
- }
3、常见命令行参数
1)-e 即立即执行,这个在上一节已经介绍过了
- bin/logstash -e ''
2) --config 或者 -f 即使用配置文件。在实际运用中,我们可能会写很大的配置,所以我们一般把它写在conf文件里,然后通过-f指定配置文件来运行,如
- bin/logstash -f test.conf
3) --log 或者 -l 指定日志文件(logstash运行的日志)的位置,如
- bin/logstash -l logs/logstash.log
4) --pipline-workers 或者 -W ,指定运行filter和output的线程数量。默认是CPU核数
还有其他一些不常见的这里就没有列举了。并且从Logstash 5.0开始,所有的命令行参数文件都可以在Logstash文件夹/config/logsatsh.yml文件里配置了。