ElasticSearch备份快照到HDFS-2.6(CDH5.6.0)

最新推荐文章于 2024-10-20 15:42:03 发布

原创

最新推荐文章于 2024-10-20 15:42:03 发布 · 6.5k 阅读

2 ·

CC 4.0 BY-SA版权

文章标签：

#elasticsearch #备份 #迁移 #snapshot #hdfs

本文介绍了如何使用 Elasticsearch 的快照/恢复模块进行索引迁移。在 CDH5.6.0 的 HDFS 上，作者经历了在线安装 repository-hdfs 插件的失败，后通过离线安装成功。详细步骤包括下载对应版本插件、安装、配置、新建repository以及创建和恢复快照。

repository-hdfs安装包的下载地址: https://oss.sonatype.org/content/repositories/snapshots/org/elasticsearch/elasticsearch-repository-hdfs/

背景说明

由于业务需要将ES-2.2.1版本升级到ES-2.3.2版本，需要将index迁移过去，查了很多资料，最后决定用es的快照/恢复模块来实现索引迁移。
在这里我采用CDH5.6.0的HDFS作为快照的存储文件系统，在ES中安装repository-hdfs这个插件
hdfs的路径为：hdfs://192.168.10.236:8020

在线安装踩过的坑（失败）

按照repository-hdfs插件地址的说明，可以用bin/plugin install elasticsearch/elasticsearch-repository-hdfs/2.3.2在线安装，然而安装的时候一直报错，经过检查，是plugin-descriptor.properties里面的版本设置问题，ES-2.3.2版本却对应着2.3.1的安装包，最后执行bin/plugin install elasticsearch/elasticsearch-repository-hdfs/2.3.1安装成功
于是按照repository-hdfs插件地址的说明

repositories
  hdfs:
    uri: "hdfs://<host>:<port>/"    # optional - Hadoop file-system URI
    path: "some/path"               # required - path with the file-sy