elasticsearch数据迁移

reindex

官方文档:https://www.elastic.co/guide/en/elasticsearch/reference/6.4/docs-reindex.html
_reindex API支持以某个索引为数据源构建一个新的索引。
如果elasticsearch的版本小于5.0,_reindex API只支持集群内部的索引重构迁移。
如果elasticsearch的版本为5.0及以上,不仅支持集群内部的索引重构迁移,而且支持从一个集群迁移数据到另一个集群,并且可以跨版本迁移,如果需要由低版本elasticsearch升级到高版本就可以采用这种方式。
参考:https://blog.csdn.net/qq_36666651/article/details/83792167
同时elasticsearch提供了ingestNODE,可以用于数据清洗等。

snapshot

适用于大量数据的迁移
官方文档:https://www.elastic.co/guide/en/elasticsearch/reference/2.4/modules-snapshots.html#modules-snapshots
不能跨多版本迁移,目标集群必须能够读取源集群的索引,所以1.x最高只能迁移到2.x,2.x最高迁移到5.x,要想跨多版本迁移只能一步步来。
实施步骤参考:https://www.jianshu.com/p/2a569e8039bd

elasticsearch-dump

如果集群版本较低,要进行数据迁移,就需要使用第三方的elasticsearch-dump工具。
github地址:https://github.com/taskrabbit/elasticsearch-dump

安装
# elasticsearch-dump采用node.js  所以需要先安装环境
yum -y install epel-release
yum -y install nodejs
# 检查
node --version
npm --version
# elasticdump
npm install elasticdump -g
迁移
# 依次操作
# 详细参数参考github的文档描述
node --max-old-space-size=2048 /usr/bin/elasticdump \
  --input=http://172.16.13.14:9200/index_name \
  --type=settings \
  --output=http://192.168.3.41:9200 \
  --limit=20000

node --max-old-space-size=2048 /usr/bin/elasticdump \
  --input=http://172.16.13.14:9200/index_name \
  --type=mapping \
  --output=http://192.168.3.41:9200 \
  --limit=20000

node --max-old-space-size=2048 /usr/bin/elasticdump \
  --input=http://172.16.13.14:9200/index_name \
  --type=data \
  --output=http://192.168.3.41:9200 \
  --limit=20000

PS:还一个类似的工具Elasticsearch-Exporter

logstash

参考 https://www.jianshu.com/p/97dbaf78359b
配置文件示例


input {
        elasticsearch {
                hosts => "172.16.13.14:9200" #配置 elasticsearch的地址及index
                index => "test_index"
                query => '{ "query": {"match_all" : {} } }' #配置匹配模式
                size => 10000 #配置遍历数据
                scroll => "5m" # 配置遍历时间间隔
                docinfo => true
        }
}

output {
        elasticsearch {
                hosts => ["192.168.3.20:9200"]
                index => "test_index"
        }
}

  • 1
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值