Elasticsearch集群备份,以及在不同集群之间迁移数据
类似mongodb的mongodump功能,Elasticsearch也提供了备份集群中索引数据的策略——snapshot API.它会备份整个集群的当前状态和数据,并保存到集群中各个节点共享的仓库中。这个备份的进程是增量备份的,在第一次备份的基础上进行的第二次备份只备份新变化的数据。官方文档
系统:ubuntu
备份ES数据的三个步骤:
- 集群–多节点时需要挂载一个共享目录建立一个共享目录,这个共享目录要求集群中的所有节点都能感知到。如何创建共享仓目录后面补充。
- 在每个节点的$ELASTICSEARCH_HOME/config/elasticsearch.yml中添加path.repo: /mnt/es_backup 配置,并重启节点,其中/mnt/es_backup 目录为每个节点的仓库目录,最好chmod 777 /mnt/es_backup,以保证elasticsearch有权限写入数据
- 为每个节点创建仓库,仓库位置为 /mnt/es_backup
- 添加索引快照(snapshot)
- 查看备份状态。
1.创建共享目录:
何为共享仓库,其实就是集群中各个节点都能感知到并将数据写入到该仓库的文件。一般一个节点部署在一个服务器上,在哪里,怎样创建一个文件让各个节点都能往里面写数据呢?
使用sshfs在ES集群中每个节点的相同位置挂载一个共享目录。
// 在每个节点上安装sshfs
sudo apt-get install sshfs
// 选定一个节点的一个目录作为共享目录
mkdir /data/backup
chmod -R 777 /data
// 在每个节点的相同位置创建目录,并挂载共享目录
mkdir /mnt/backup
chmod -R 777 /mnt
sshfs $user@192.168.x.x:/data/backup /mnt/backup -o allow_other
// 测试运行ES的用户是否有对共享目录的写权限
sudo -u elasticsearch touch /mnt/backup/test
其中参数-o allow_other 解决了不同节点往共享仓库中写数据的权限问题。
2.修改elasticsearch.yml文件,添加path.repo配置
在elasticsearch.yml中增加path.repo: /mnt/backup,配置共享仓库的位置,重启节点
3. 创建了共享目录后就可以在这个共享目录下为集群创建共享仓库
// 创建仓库
PUT _snapshot/my_backup
{
"type": "fs",
"settings": {
"location": "/mnt/backup",
"compress": true
}
}
4.备份索引数据。
// 针对具体的index创建快照备份,其中snapshot_name 是快照的名字。
PUT _snapshot/my_backup/snapshot_name
{
"indices": "index_1, index_2"
}
// 5.查看备份状态
GET _snapshot/my_backup/snapshot_name/_status
6.在不同集群之间迁移数据
// 备份创建好之后,在共享目录/root/backup里是这样的:
-rw-r--r-- 1 root root 31 12月 15 22:14 index
drwxr-xr-x 3 root root 4096 12月 15 22:14 indices
-rw-r--r-- 1 root root 83 12月 15 22:14 metadata-snapshot_name
-rw-r--r-- 1 root root 181 12月 15 22:14 snapshot-snapshot_name
7.在迁移目标的集群上重复上面创建仓库的操作,即步骤2,3
// 8.(将源集群的备份内容(/root/backup里的所有文件),复制到迁移目标的集群仓库目录里)
// 类似批量导入,所以只需要在主节点中恢复仓库中的数据即可?
// 9.使用RESTful API进行备份的恢复,如果索引已经存在目标的集群,需要先关闭索引,恢复数据后在开启
POST /index_name/_close
POST _snapshot/my_backup/snapshot_name/_restore
POST /index_name/_open
// 10.查看恢复的状态
GET _snapshot/my_backup/snapshot_name/_status