本文主要讲解Elasticsearch下实现索引迁移的几种方式。

 

0、引言

将ES中的索引拷贝到其他ES中，或者将ES整体迁移，研究发现有两个开源的工具：elaticserch-dump和 Elasticsearch-Exporter。 
除此之外，logstash在索引同步、迁移方面的作用也很大。 
两工具及logstash实现迁移的介绍、安装、使用、验证效果等展示如下：

1、elasticsearch-dump迁移

1.1 elasticsearch-dump简介

Tools for moving and saving indicies. 从来移动和保存索引的工具。 
https://github.com/taskrabbit/elasticsearch-dump

1.2 elasticsearch-dump安装

1. 1) yum install epel-release

2. 2) yum install nodejs

3. 3) yum install npm

4. 4) npm install elasticdump

5. 5) cd node_modules/elasticdump/bin 后便可以执行操作。

安装后如下所示：

1. [root@N3 elasticdump]# pwd

2. /home/tp/node_modules/elasticdump

3. [root@N3 elasticdump]# ls -al

4. total 388

5. drwxr-xr-x 2 root root 4096 Mar 21 15:46 bin

6. -rw-r--r-- 1 root root 174 Mar 18 2016 Dockerfile

7. -rw-r--r-- 1 root root 299251 Mar 15 2014 elasticdump.jpg

8. -rw-r--r-- 1 root root 6172 Feb 2 23:47 elasticdump.js

9. drwxr-xr-x 2 root root 4096 Jul 13 2016 .github

10. drwxr-xr-x 3 root root 4096 Mar 21 15:46 lib

11. -rw-r--r-- 1 root root 11356 May 22 2014 LICENSE.txt

12. drwxr-xr-x 10 root root 4096 Mar 21 15:46 node_modules

13. -rw-r--r-- 1 root root 44 May 22 2014 .npmignore

14. -rw-r--r-- 1 root root 15135 Mar 21 15:46 package.json

15. -rw-r--r-- 1 root root 13335 Dec 14 06:20 README.md

16. drwxr-xr-x 3 root root 4096 Mar 21 15:46 test

17. -rw-r--r-- 1 root root 1150 Dec 2 07:54 .travis.yml

1.3 elasticsearch-dump 使用

1. '#拷贝analyzer如分词

2. elasticdump \

3. --input=http://production.es.com:9200/my_index \

4. --output=http://staging.es.com:9200/my_index \

5. --type=analyzer

6. '#拷贝映射

7. elasticdump \

8. --input=http://production.es.com:9200/my_index \

9. --output=http://staging.es.com:9200/my_index \

10. --type=mapping

11. '#拷贝数据

12. elasticdump \

13. --input=http://production.es.com:9200/my_index \

14. --output=http://staging.es.com:9200/my_index \

15. --type=data

1.4 elasticsearch-dump实战小结

源ES版本1.6.0，目标ES版本：2.3.4，验证发现：analyzer和mapping可以拷贝成功。 
但是，data拷贝不成功。目标机器ES中不能显示出数据。根本原因没有排查到。

2、 Elasticsearch-Exporter迁移

2.1 Elasticsearch-Exporter简介

https://github.com/mallocator/Elasticsearch-Exporter 
A small script to export data from one Elasticsearch cluster into another. 将ES中的数据向其他导出的简单脚本实现。

2.2、Elasticsearch-Exporter安装

http://www.dahouduan.com/2014/12/25/centos-yum-install-nodejs-npm/ 
centos用 yum 方式安装 nodejs 和 npm

1. npm install nomnom

2. npm install colors

3. npm install elasticsearch-exporter --production

安装后：

1. [root@N3 elasticsearch-exporter]# ll -ls

2. total 80

3. 4 drwxr-xr-x 2 root root 4096 Mar 21 22:01 drivers

4. 12 -rw-r--r-- 1 root root 11523 Sep 19 2014 exporter.js

5. 12 -rw-r--r-- 1 root root 11324 Mar 16 2014 LICENSE

6. 4 drwxr-xr-x 4 root root 4096 Mar 21 22:01 node_modules

7. 12 -rw-r--r-- 1 root root 11259 Sep 19 2014 options.js

8. 16 -rw-r--r-- 1 root root 14500 Mar 21 22:01 package.json

9. 16 -rw-r--r-- 1 root root 12645 Sep 19 2014 README.md

10. 4 drwxr-xr-x 2 root root 4096 Apr 25 2014 tools

2.3、 Elasticsearch-Exporter使用

node exporter.js -a <source hostname> -b <target hostname> -p <s port> -q <t port> -i <s index> -j <t index>

• 1

即可实现跨机器索引的迁移。

更多的参数可以查看node exporter.js –help

1. [root@N3 elasticsearch-exporter]# node exporter.js --help

2. Elasticsearch Exporter - Version 1.4.0

3. Usage: exporter [options]

4. Options:

5. -a <hostname>, --sourceHost <hostname> 迁移源机器地址

6. -b <hostname>, --targetHost <hostname> 迁移目的机器地址（如果没有设置索引，目的地址需要有别于源地址）

7. -p <port>, --sourcePort <port> 源机器的ES的端口，9200（一般）

8. -q <port>, --targetPort <port> 目标机器的ES的端口，9200（一般）

9.  

10. -i <index>, --sourceIndex <index> 源ES待导出的索引，如果该值不设定，整个的数据库都会导出。

11. -j <index>, --targetIndex <index>目标机器ES的索引，如果源索引设定，该值必须填写。

2.4、 Elasticsearch-Exporter 索引迁移实战（验证ok）

1. [root@No3 elasticsearch-exporter]# node exporter.js -a 10.221.110.31-b 100.0.1.130 -p 9200 -q 9200 -i awppx -j awppx

2. 同步最后会显示：

3. Number of calls: 169

4. Fetched Entries: 8064 documents

5. Processed Entries: 8064 documents

6. Source DB Size: 8064 documents

代表同步成功。 
源ES版本1.6.0，目标ES版本：2.3.4， 
验证发现：可以使用 Elasticsearch-Exporter跨机器、跨ES版本同步索引成功。

3、logstash定向索引迁移

1. [root@N3 bin]# cat ./logstash_output_mongo/logstash_es22es.conf

2. input {

3. elasticsearch {

4. hosts => [ "100.200.10.54:9200" ]

5. index => "doc"

6. size => 1000

7. scroll => "5m"

8. docinfo => true

9. scan => true

10. }

11. }

12.  

13. filter {

14. json {

15. source => "message"

16. remove_field => ["message"]

17. }

18. mutate {

19. # rename field from 'name' to 'browser_name'

20. rename => { "_id" => "wid" }

21. }

22. }

23.  

24. output {

25. elasticsearch {

26. hosts => [ "100.20.32.45:9200" ]

27. document_type => "docxinfo"

28. index => "docx"

29. }

30.  

31. stdout {

32. codec => "dots"

33. }

34.  

35. }

4、elasticsearch-migration工具

https://github.com/medcl/elasticsearch-migration 
支持多个版本间的数据迁移，使用scroll+bulk 
1.版本支持1.x,2.x.5.0 (0.x未测试) 
2.支持http basic auth 认证的es集群 
3.支持导入覆盖索引名称（目前只支持单个索引导入的情况下可指定） 
4.支持index setting和mapping的同步（相关es大版本，2.x和5.0之间不支持） 
5.支持dump到本地文件 
6.支持从dump文件加载导入到指定索引 
讨论参考：https://elasticsearch.cn/article/78

5、小结

对比发现， Elasticsearch-Exporter在索引迁移方面相对更好用。（待深入研究补充） 
而logstash定向索引用于辅助解决 Elasticsearch-Exporter不同版本迁移有Bug的情形。

参考： 
[1]http://blog.csdn.net/u014587343/article/details/50541494 
[2]http://stackoverflow.com/questions/26547560/how-to-move-elasticsearch-data-from-one-server-to-another