通过elasticsearch对日志进行搜索热词统计

最新推荐文章于 2023-10-30 10:11:10 发布

weixin_30682127

最新推荐文章于 2023-10-30 10:11:10 发布

阅读量1.8k

点赞数 2

文章标签：大数据 python java

原文链接：http://www.cnblogs.com/mikeguan/p/6943311.html

版权

本文介绍了如何利用Logstash收集和处理日志，包括通过filebeat获取日志、使用Logstash的input、filter和output阶段进行日志处理。在filter阶段，使用grok和mutate对非JSON格式日志进行解析和格式化，并替换@timestamp字段。最后，文章展示了如何通过Elasticsearch对日志进行检索，特别是对特定字段进行聚合统计，以提取热门搜索关键词。

摘要由CSDN通过智能技术生成

通过logstash搜集日志

这里搜集日志可以使用ELK的一个插件filebeat对日志进行处理,并传输到后端的程序
在这里有一个不好的地方, 如果想要直接使用filebeat将日志发送到elasticsearch的话, 它并不能对任何字段进行替换等处理
比较明显的问题就是, 一般我们需要将@timestamp替换成日志里面的时间而不是程序对日志的处理时间, 这一点它无法做到
还有一点, 使用filebeat对多行日志进行处理时似乎会发生日志收集错乱的现象, 这个问题有待测试, 因为filebeat程序是自带处理多行日志的
当然好处也是有点, 可以比较省资源

input {
    file {
        path => "/tmp/test.log"
        add_field => {"area"=>"beijing"}
        codec => multiline {
            pattern => "^\["
            negate => true
            what => previous
        }
    }
}
filter {
    grok {
            match => { "message" => "^\[(%{WORD:loglevel}\s+)?%{TIMESTAMP_ISO8601:timestamp}?(?<file>[^\@]+)\s+@\s+(?<pid>[^\]]+)\]\s+\-\s+?%{GREEDYDATA:result}" }