Elasticsearch跨集群数据迁移方案+代码操作

最新推荐文章于 2024-08-08 00:45:00 发布

scc诚诚

最新推荐文章于 2024-08-08 00:45:00 发布

阅读量763

点赞数

分类专栏：个人分享文章标签： elasticsearch linux hadoop

本文链接：https://blog.csdn.net/shichengcheng_scc/article/details/111284779

版权

本文介绍了Elasticsearch跨集群数据迁移的三种方案：Logstash数据同步、ES Dump以及ES Snapshot迁移。重点讲述了Logstash如何进行全量和增量迁移，以及ES Snapshot的创建、管理与恢复过程，强调了Snapshot在数据安全和便捷性上的优势。

摘要由CSDN通过智能技术生成

主流的ES迁移有三套方案
1、logstash数据同步
2、ES dump
3、ES snapshot迁移

1、logstash数据同步

./logstash -f config_file
1. 指定索引index全量迁移配置文档：
当目标端数据已经存在，无论数据是否变更，均执行更新覆盖，目标数据不存在则新建。

input {
   
    elasticsearch {
   
        hosts => ["ES IP(原始）:9200"]
        index => "map"
    	docinfo => true
	}
}

output {
   
    elasticsearch {
   
        hosts => ["ES IP（目标）:9200"]
        index => "%{[@metadata][_index]}"
        document_type => "%{[@metadata][_type]}"
        document_id => "%{[@metadata][_id]}"
}
}