Linux中使用Logstash解析文件并上传ElastSicSeaErch之二上传数据

最新推荐文章于 2023-04-22 19:16:42 发布

数据孤岛

最新推荐文章于 2023-04-22 19:16:42 发布

阅读量240

点赞数 1

分类专栏： ElasticSearch 文章标签： linux

本文链接：https://blog.csdn.net/m0_46657040/article/details/108147116

版权

ElasticSearch 专栏收录该内容

5 篇文章 0 订阅

订阅专栏

在上一篇中，我们介绍了如何使用idea生成模拟数据并将java代码导成jar包，如果不清楚如何生成jar包的可以参考一下上一篇文章Linux中使用Logstash解析文件并上传ElastSicSeaErch之一生成模拟数据，现在我们进行下面的操作，上传数据到ElasticSearch

1.先把生成好的jar包传到linux下，我这里在root根目录创建了一个kb08文件夹，把jar包放在这里面，并且创建了一个mylog.log的文件用来存放过会生成过的数据
在这里插入图片描述

java -jar logwiter.jar mylog.log 100

这句话意思是生成100条数据到mylog.log文件下
在这里插入图片描述

我们查看一下mylog.log文件

cat -n mylog.log

在这里插入图片描述

正好显示100条数据，说明jar包没有错误

在这里插入图片描述
4. 当我们生成完数据后就是真正解析数据了
首先创建一个logstash.log的文件，输入下面解析代码

input{
        file{
                path => "/root/kb08/mylog.log"
                start_position => "beginning"
                sincedb_path => "/dev/null"
                type => "go"
        }
}
filter{
        if[type] == "go"{
                grok{
                        match => {"message" => "(?<userId>[0-9]+):(?<eventType>[a-z_]+):(?<eventMonth>[0-9-]+):(?<browser>[a-z0-9\u4e00-\u9fa5]+):(?<clickCount>[0-9]+):(?<timeZone>[\u4e00-\u9fa5]+)"}
                        remove_field =>["message"]
                }
        }
}
output{
        stdout{
                codec => rubydebug
        }
}

这里为了防止解析出错，output到linux黑窗口查看

切换到/opt/bigdata/elk/logstash622/bin目录下
使用命令解析文本内容

./logstash ~/kb08/logstash.log

在这里插入图片描述
出现下面结果说明成功解析

修改刚才的logstash.log文件，把output内容换成ElasticSearch地址

input{
        file{
                sincedb_path => "/dev/null"
                type => "go"
        }
}
filter{
        if[type] == "go"{
                grok{
                        match => {"message" => "(?<userId>[0-9]+):(?<eventType>[a-z_]+):(?<eventMonth>[0-9-]+):(?<browser>[a-z0-9\u4e00-\u9fa5]+):(?<clickCount>[0-9]+):(?<timeZone>[\u4e00-\u9fa5]+)"}
                        remove_field =>["message"]
                }
        }
}
output{
        if[type] == "go"{
                elasticsearch{
                        hosts => ["http://192.168.98.130:9200","http://192.168.98.131:9200","http://192.168.98.132:9200"]
                        index => "taobao"
                        document_type => "clientact"
                }
        }
}