Elasticsearch--索引备份与迁移

Elasticsearch集群备份，以及在不同集群之间迁移数据
类似mongodb的mongodump功能，Elasticsearch也提供了备份集群中索引数据的策略——snapshot API.它会备份整个集群的当前状态和数据，并保存到集群中各个节点共享的仓库中。这个备份的进程是增量备份的，在第一次备份的基础上进行的第二次备份只备份新变化的数据。官方文档

系统：ubuntu

备份ES数据的三个步骤：

1. 集群–多节点时需要挂载一个共享目录建立一个共享目录，这个共享目录要求集群中的所有节点都能感知到。如何创建共享仓目录后面补充。
2. 在每个节点的$ELASTICSEARCH_HOME/config/elasticsearch.yml中添加path.repo: /mnt/es_backup 配置，并重启节点，其中/mnt/es_backup 目录为每个节点的仓库目录，最好chmod 777 /mnt/es_backup，以保证elasticsearch有权限写入数据
3. 为每个节点创建仓库，仓库位置为 /mnt/es_backup
4. 添加索引快照(snapshot)
5. 查看备份状态。

1.创建共享目录：
何为共享仓库，其实就是集群中各个节点都能感知到并将数据写入到该仓库的文件。一般一个节点部署在一个服务器上，在哪里，怎样创建一个文件让各个节点都能往里面写数据呢？

使用sshfs在ES集群中每个节点的相同位置挂载一个共享目录。

// 在每个节点上安装sshfs
 sudo apt-get install sshfs

// 选定一个节点的一个目录作为共享目录
mkdir /data/backup
chmod -R 777 /data
// 在每个节点的相同位置创建目录，并挂载共享目录
mkdir /mnt/backup
chmod -R 777 /mnt
sshfs $user@192.168.x.x:/data/backup /mnt/backup -o allow_other

// 测试运行ES的用户是否有对共享目录的写权限
sudo -u elasticsearch touch /mnt/backup/test

其中参数-o allow_other 解决了不同节点往共享仓库中写数据的权限问题。

2.修改elasticsearch.yml文件，添加path.repo配置
在elasticsearch.yml中增加path.repo: /mnt/backup，配置共享仓库的位置，重启节点

3. 创建了共享目录后就可以在这个共享目录下为集群创建共享仓库

// 创建仓库
PUT _snapshot/my_backup 
{
    "type": "fs", 
    "settings": {
        "location": "/mnt/backup",
        "compress": true
    }
}

4.备份索引数据。

// 针对具体的index创建快照备份，其中snapshot_name 是快照的名字。
PUT _snapshot/my_backup/snapshot_name
{
    "indices": "index_1, index_2"
}

// 5.查看备份状态
GET _snapshot/my_backup/snapshot_name/_status

6.在不同集群之间迁移数据

 // 备份创建好之后，在共享目录/root/backup里是这样的：
-rw-r--r-- 1 root root   31 12月 15 22:14 index
drwxr-xr-x 3 root root 4096 12月 15 22:14 indices
-rw-r--r-- 1 root root   83 12月 15 22:14 metadata-snapshot_name
-rw-r--r-- 1 root root  181 12月 15 22:14 snapshot-snapshot_name

7.在迁移目标的集群上重复上面创建仓库的操作,即步骤2，3

// 8.（将源集群的备份内容（/root/backup里的所有文件），复制到迁移目标的集群仓库目录里）
// 类似批量导入，所以只需要在主节点中恢复仓库中的数据即可？

// 9.使用RESTful API进行备份的恢复，如果索引已经存在目标的集群，需要先关闭索引，恢复数据后在开启
POST /index_name/_close
POST _snapshot/my_backup/snapshot_name/_restore
POST /index_name/_open
// 10.查看恢复的状态
GET _snapshot/my_backup/snapshot_name/_status