logstash同步文件到es

最新推荐文章于 2024-04-18 01:12:34 发布

泪過無痕

最新推荐文章于 2024-04-18 01:12:34 发布

阅读量1.3k

点赞数 1

分类专栏： logstash 文章标签： logstash 文件同步

本文链接：https://blog.csdn.net/qq_41889087/article/details/89307704

版权

本文档介绍了如何使用Logstash将单个和多个文本文件同步到Elasticsearch。通过配置文件analysis.conf，启动Logstash即可完成数据迁移。

摘要由CSDN通过智能技术生成

单文件文本同步到ES

input {
    file {
        path=> [ "C:/JWD/logs/*.log" ]
        #path=> [ "C:/JWD/server/nginx/logs/*.log",
        #    "C:/JWD/server/Debug/log/*.log" ]
        start_position => beginning
        stat_interval => 1 #设置多长时间检测文件是否修改 默认是1s
        #tags => "test" #添加标签
        #设置多长时间扫描目录，发现新文件
        discover_interval => 15
        # 设置监听间隔 各字段含义（从左至右）分、时、天、月、年，全为*默认含义为每分钟都更新
    }
}

filter {
    json{
        source => "message"
    }
    mutate{
        remove_field => ["message"]
        #add_field => {"test"=>"test"}
    }
#    mutate{
#		remove_field => ["host","path","message","@timestamp","@version"]
#    }
}
#https://blog.csdn.net/zhousenshan/article/details/81023857
#https://blog.csdn.net/yelllowcong/article/details