本文主要讲解Elasticsearch下实现索引迁移的几种方式。
0、引言
将ES中的索引拷贝到其他ES中,或者将ES整体迁移,研究发现有两个开源的工具:elaticserch-dump和 Elasticsearch-Exporter。
除此之外,logstash在索引同步、迁移方面的作用也很大。
两工具及logstash实现迁移的介绍、安装、使用、验证效果等展示如下:
1、elasticsearch-dump迁移
1.1 elasticsearch-dump简介
Tools for moving and saving indicies. 从来移动和保存索引的工具。
https://github.com/taskrabbit/elasticsearch-dump
1.2 elasticsearch-dump安装
1) yum install epel-release
2) yum install nodejs
3) yum install npm
4) npm install elasticdump
5) cd node_modules/elasticdump/bin 后便可以执行操作。
安装后如下所示:
[ ]
[ ] -
--
------
------ .
------ .
-- .
--
------ .
--
------ .
------ .
------ .
--
------ ..
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- 12
- 13
- 14
- 15
- 16
- 17
1.3 elasticsearch-dump 使用
'#拷贝analyzer如分词
elasticdump \
--input=http://production.es.com:9200/my_index \
--output=http://staging.es.com:9200/my_index \
--type=analyzer
'#拷贝映射
elasticdump \
--input=http://production.es.com:9200/my_index \
--output=http://staging.es.com:9200/my_index \
--type=mapping
'#拷贝数据
elasticdump \
--input=http://production.es.com:9200/my_index \
--output=http://staging.es.com:9200/my_index \
--type=data
1.4 elasticsearch-dump实战小结
源ES版本1.6.0,目标ES版本:2.3.4,验证发现:analyzer和mapping可以拷贝成功。
但是,data拷贝不成功。目标机器ES中不能显示出数据。根本原因没有排查到。
2、 Elasticsearch-Exporter迁移
2.1 Elasticsearch-Exporter简介
https://github.com/mallocator/Elasticsearch-Exporter
A small script to export data from one Elasticsearch cluster into another. 将ES中的数据向其他导出的简单脚本实现。
2.2、Elasticsearch-Exporter安装
http://www.dahouduan.com/2014/12/25/centos-yum-install-nodejs-npm/
centos用 yum 方式安装 nodejs 和 npm
npm install nomnom
npm install colors
npm install elasticsearch-exporter --production
安装后:
[ -] -
--
------ .
------
--
------ .
------ .
------ .
--
2.3、 Elasticsearch-Exporter使用
node exporter.js -a <source hostname> -b <target hostname> -p <s port> -q <t port> -i <s index> -j <t index>
即可实现跨机器索引的迁移。
更多的参数可以查看node exporter.js –help
[root@N3 elasticsearch-exporter]# node exporter.js --help
Elasticsearch Exporter - Version 1.4.0
Usage: exporter [options]
Options:
-a <hostname>, --sourceHost <hostname> 迁移源机器地址
-b <hostname>, --targetHost <hostname> 迁移目的机器地址(如果没有设置索引,目的地址需要有别于源地址)
-p <port>, --sourcePort <port> 源机器的ES的端口,9200(一般)
-q <port>, --targetPort <port> 目标机器的ES的端口,9200(一般)
-i <index>, --sourceIndex <index> 源ES待导出的索引,如果该值不设定,整个的数据库都会导出。
-j <index>, --targetIndex <index>目标机器ES的索引,如果源索引设定,该值必须填写。
2.4、 Elasticsearch-Exporter 索引迁移实战(验证ok)
[root@No3 elasticsearch-exporter]
同步最后会显示:
Number of calls: 169
Fetched Entries: 8064 documents
Processed Entries: 8064 documents
Source DB Size: 8064 documents
代表同步成功。
源ES版本1.6.0,目标ES版本:2.3.4,
验证发现:可以使用 Elasticsearch-Exporter跨机器、跨ES版本同步索引成功。
3、logstash定向索引迁移
[root@N3 bin]
input {
elasticsearch {
hosts => [ "100.200.10.54:9200" ]
index => "doc"
size => 1000
scroll => "5m"
docinfo => true
scan => true
}
}
filter {
json {
source => "message"
remove_field => ["message"]
}
mutate {
rename => { "_id" => "wid" }
}
}
output {
elasticsearch {
hosts => [ "100.20.32.45:9200" ]
document_type => "docxinfo"
index => "docx"
}
stdout {
codec => "dots"
}
}
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- 12
- 13
- 14
- 15
- 16
- 17
- 18
- 19
- 20
- 21
- 22
- 23
- 24
- 25
- 26
- 27
- 28
- 29
- 30
- 31
- 32
- 33
- 34
- 35
4、小结
对比发现, Elasticsearch-Exporter在索引迁移方面相对更好用。(待深入研究补充)
而logstash定向索引用于辅助解决 Elasticsearch-Exporter不同版本迁移有Bug的情形。
参考:
[1]http://blog.csdn.net/u014587343/article/details/50541494
[2]http://stackoverflow.com/questions/26547560/how-to-move-elasticsearch-data-from-one-server-to-another