ElasticSearch的数据迁移,从windows到linux

之前写了一个爬虫项目,数据存在本地,现在想要把项目部署在服务器上,怎么把数据弄过去是个问题,毕竟爬虫爬了几天的数据再重新获取也比较麻烦。

可能是数据库设计的原因,ElasticSearch并不能直接像MySql一样导出个sql文件,然后再另外一边重新导入就好了。

网上的资料大部分都是针对linux到linux的,而且还是多节点的。。。我就是想把我的小项目(一个节点的那种)从windows上搞到linux服务器上而已。下面说一下我遇到的坑和最后的解决方案

1. 首先上网搜索解决方案,然后出现了一大堆,首先是elasticsearch-dump,这种需要安装在接收数据一方的软件,我怎么也想不明白,在接收方发个请求,发送方的机器就会把数据发过来,这听起来就很诡异(而且我的windows处在内网中,端口映射9200端口怎么样也不成功,可能是elasticsearch有什么保护),我想肯定需要一点其它配置吧,然而并没有找到相关的文章,最后结果很明显就是失败了。

2. 然后就是elasticsearch-exporter,这个是安装在发送方的工具,听起来似乎靠谱了一点,也避开了我的windows处在内网中没有公网ip的问题,发送命令大概是 指定源地址,目的地址,端口号,索引名的就可以了,感觉应该可以成功,但是很遗憾的失败了,我想直接从一个机器在不经另外一个机器许可的情况下,把数据传过去也是一件很诡异的事情(比如tcp需要接收方机器处于监听状态)。

3. 还有一种是github上的用go语言写的工具,叫elasticsearch-migration,应该是个大神写的,但是好像要自己编译然而我不懂go,看的是一脸懵逼。

4. 最后一种是我成功的那个方法,就是用快照的方法,其实这个方法我一开始是放弃了的,因为要在elasticsearch.yml里配置的path.repo: /storage/esdata属性,后面跟的是一个linux类型的地址,windows上的地址应该是 C:\backup 这种类型的,我感觉用不了这种方法,后面在前