【无标题】

logstash简介：是一个数据采集、加工处理、传输数据的的工具

logstash:结构原理

input: 负责收集数据

filter:负责处理数据

output:负责传输数据的工具

logstash：特点：所有类型的数据集中处理

​ 不同模式和格式数据的正常化

​ 自定义日志格式的迅速扩展

​ 为自定义数据源轻松添加插件

安装部署：

安装在：/usr/share/logstash目录下 ，

配置文件： /etc/logstash目录，但由于程序找不到，所以需要配置软连接

​ ln -s /etc/logstash /usr/share/logstash

编写简单的配置文件：vim /etc/logstash/conf.d/my.conf

input{

​ stdin{} #指的是标准输入

}

filter{

}

output{

​ stdout{} #指的是标准输出

}

 

插件管理：Logstash对数据的处理依赖插件，上面的配置文件使用了

​ logstash-input-stdin 和logstash-output-stdout 两个插件

管理命令：/usr/share/logstash/bin/logstash-plugin

list------查看插件

install ----- 安装插件

uninstall ---- 删除插件

插件的调试格式：

input{

​ stdin{ "codec" => "rubydebug" } #指的是标准输入，里面指的是辅助插件，配合插件使用的

}

filter{

}

output{

​ stdout{ "codec" => "rubydebug" } #指的是标准输出,里面指的是辅助插件，配合插件使用的

}

插件的使用手册：https://www.elastic.co/guide/en/logstash/current/index.html 在里面看怎么使用，用IE浏览器可以翻译。

常用的插件：input插件配置管理，file插件用途是从本地文件中获取数据，并实时监控文件的变化

文件插件语法格式：

input {

file {

​ 参数 => "参数值"

}

}

格式案例：

```

# 从 web 服务器查找一条日志写入到日志文件

[root@logstash ~]# echo '60.26.217.109 - admin [13/Jan/2023:14:31:52 +0800] "GET /es/ HTTP/1.1" 200 148209 "http://127.70.79.1/es/" "curl/7.61.1"' >/tmp/c.log

# 调试技巧：设置路径为 /dev/null 可以多次反复测试

[root@logstash ~]# vim /etc/logstash/conf.d/my.conf

input {

file {

path => ["/tmp/c.log"]

start_position => "beginning"

sincedb_path => "/dev/null"

}

}

```

 

file模块的grok插件的使用

解析各种非结构化的日志数据插件

grok使用正则表达式把非结构化的数据结构化在分组匹配

正则表达式需要根据具体数据结构编写

日志格式解析：日志格式可以查询配置文件，含义可以查询官方手册

管理：调用格式可以是正则，但一般都用宏表达式的格式

宏的调用格式： %{宏名称:名字}

grok 自带的宏的定义在：/usr/share/logstash/vendor/bundle/jruby/2.5.0/gems/logstash-patterns-core-4.3.4/patterns

如模板案例：

```

filter{

grok {

match => { "message" => "%{HTTPD_COMBINEDLOG}" }

remove_field => ["message"]

}

}

```

output模块elasticsearch 插件的使用

格式案例：

```

output{

stdout{ codec => "rubydebug" }

elasticsearch {

hosts => ["es-0002:9200","es-0003:9200"]

index => "weblog-%{+YYYY.MM.dd}"

}

}

```