logstash 处理nginx 访问日志

最新推荐文章于 2024-08-10 12:00:00 发布

scan724

最新推荐文章于 2024-08-10 12:00:00 发布

阅读量7.6k

点赞数

分类专栏： Logstash

本文链接：https://blog.csdn.net/zhaoyangjian724/article/details/52301088

版权

Logstash 专栏收录该内容

97 篇文章 32 订阅 ¥39.90 ¥99.00

订阅专栏

本文展示了如何配置Logstash，分别处理zj_frontend_access和wj_frontend_access两种类型的Nginx访问日志。配置文件中，Logstash从指定路径读取日志文件，使用Grok过滤器解析日志内容，并将结果存储到Redis队列。接着，另一配置文件从Redis队列读取数据，根据类型将日志推送到不同Elasticsearch索引，以便于后续分析和检索。

摘要由CSDN通过智能技术生成

[root@dr-mysql01 frontend]# cat logstash_frontend.conf 
input {
        file {
                type => "zj_frontend_access"
                path => ["/data01/applog_backup/zjzc_log/zj-frontend0*access*"]
        }
    
       file { 
                type => "wj_frontend_access" 
                path => ["/data01/applog_backup/winfae_log/wj-frontend0*access*"] 
        } 

 
}
filter {
    grok {
        match => {
            "message" => "%{IPORHOST:clientip} \[%{HTTPDATE:time}\] \"%{WORD:verb} %{URIPATHPARAM:request} HTTP/%{NUMBER:httpversion}\" %{NUMBER:http_status_code} %{NUMBER:bytes} \"(?<http_referer>\S+)\" \"(?<http_user_agent&g

了解本专栏