Elasticsearch快照部署到Hadoop-HDFS

Elasticsearch快照部署到Hadoop-HDFS

• es支持快照，其远程仓库可以部署在本地共享文件系统下，也可部署异地其他文件系统，比如今天要讲的Hadoop-hdfs上，曾经尝试部署在本地文件目录下，首先要部署共享文件系统、还要解决每个节点上用户和用户组的UUID不一致的问题，在生产环境下ES少则5个节点，多则上百个节点，其工作量、复杂度以及后期维护还是相当麻烦的，相对而言，将远程仓库部署到hdfs上、工作量、可维护性以及复杂度，还是优势多多。

一、部署流程

1. 下载远程仓库插件，repository-hdfs-6.8.2.zip，可以在官网上直接在线安装，也可以离线下载ZIP包，再手动安装。

2. 下载好插件后，重启ES每一节点，先重启非master节点，最后再重启master节点。等待集群变绿。

3. 建立远程仓库，
   `PUT /_snapshot/my_repository_name
   {
   “type” : “hdfs”,
   “settings” : {
   “path” : “/elasticsearch/backup/my_index_snapshot”,
   “load_defaults” : true,
   “url”:“hdfs://hadoop001:8020”,
   “compress”:true

   }
   }`

4. 指定索引创建快照
   `
   PUT /_snapshot/my_repository_name/my_ind