logstash-过滤ES数据到新的ES

最新推荐文章于 2024-07-12 11:32:16 发布

wzz87

最新推荐文章于 2024-07-12 11:32:16 发布

阅读量1k

点赞数

分类专栏：大数据相关技术应用记录 ELK 文章标签： logstash 数据迁移

本文链接：https://blog.csdn.net/wzz87/article/details/106938394

版权

本文介绍了如何在背景需求下，利用Logstash过滤并迁移Elasticsearch（ES）集群中特定类型、特定时间段的数据到新的ES集群。详细操作步骤如下：（此处省略具体操作细节）

摘要由CSDN通过智能技术生成

背景：过滤ES集群中特定类型的某个时间段的数据到新的ES集群
具体操作下：

###类型TCC
input{
  elasticsearch {
    hosts => "10.10.x.x:9200"
    index => "cqct_20200508_03"
    query => '{"query":{"bool":{"must":[{"range":{"optime":{"gt":"1591754706000","lt":"1591754706006"}}}],"must_not":[],"should":[]}},"from":0,"sort":[],"aggs":{}}'
    docinfo => true
    }
}
filter{
        if [@metadata][_type] != "TCC" {
        drop{}
  }
}
output{
        elasticsearch{
                hosts => "10.10.y.y:9200"
                index => "cqct_20200508_03"
                document_type => "TCC"
                document_id => "%{id}"
                codec => json_lines
        }
        stdout{
                codec => json_lines
        }

}

##R