ElasticSearch数据备份与恢复

最新推荐文章于 2024-06-19 15:53:01 发布

weixin_33862041

最新推荐文章于 2024-06-19 15:53:01 发布

阅读量280

点赞数

文章标签：大数据

原文链接：https://yq.aliyun.com/articles/277568

版权

ES备份快照的时候可以用NFS或者HDFS。NFS有点麻烦，我们使用HDFS。

1.安装hdfs插件（如果已安装，则忽略这一步）：

bin/elasticsearch-plugin install repository-hdfs

注意下载后会提示是否安装，一定要输入 y，否则视为取消安装。安装完之后要重启ES集群.

2.源集群创建仓库：

curl -XPUT '192.168.40.11:9200/_snapshot/my_hdfs_repository?pretty' -H 'Content-Type: application/json' -d'
{
  "type": "hdfs",
  "settings": {
    "uri": "hdfs://192.168.40.60:8020/",
    "path": "elasticsearch/repositories/my_hdfs_repository",
    "conf.dfs.client.read.shortcircuit": "false"
  }
}
'

注意源集群的IP和hdfs的IP不要写错了

这里conf.dfs.client.read.shortcircuit如果设置为true，那么hdfs里需要配置一些额外的东西，我试了没成功。设置为true能减少通信次数，加快速度，如果您和我一样不想折腾，还是建议设置为false。

3.查看源集群创建好的仓库：

curl -XGET '192.168.40.11:9200/_snapshot/my_hdfs_repository?pretty'

4.备份所有索引：（这一步非常慢）

curl -XPUT '192.168.40.11:9200/_snapshot/my_hdfs_repository/snapshot_20171215?wait_for_completion=false&pretty'

注意:

wait_for_completion=true会一直等待备份结束。
wait_for_completion=false会立即返回，备份在后台进行，可以使用下面的api查看备份的进度：
curl -XGET '192.168.40.11:9200/_snapshot/my_hdfs_repository/snapshot_20171215/_status?pretty'

默认情况下，会将ES集群中所有打开的或者启动索引都备份一遍。如果不想备份所有的索引，可以加参数，详情见官方文档 ES备份和恢复

我使用master这个用户操作的，快照备份在hdfs的这个目录下，可以查看一下：
hdfs dfs -ls /user/master/elasticsearch/repositories/my_hdfs_repository

5.在目标集群里恢复快照：

5.1目标集群注册仓库：

curl -XPUT '192.168.40.15:9200/_snapshot/my_hdfs_repository?pretty' -H 'Content-Type: application/json' -d'
{
  "type": "hdfs",
  "settings": {
    "uri": "hdfs://192.168.40.60:8020/",
    "path": "/user/master/elasticsearch/repositories/my_hdfs_repository",
    "conf.dfs.client.read.shortcircuit": "false"
  }
}
'

注意目标集群的IP，hdfs的IP，hdfs的路径都不要写错了

5.2目标集群恢复快照：

curl -XPOST '192.168.40.15:9200/_snapshot/my_hdfs_repository/snapshot_20171215/_restore?pretty' -H 'Content-Type: application/json' -d'
{
  "indices": "janusgraph_vertices",
  "index_settings": {
    "index.number_of_replicas": 1
  },
  "ignore_index_settings": [
    "index.refresh_interval"
  ]
}
'

注意：如果恢复的时候报这个错:cannot restore index [janusgraph_vertices] because it's open ...
说明目标集群里已经有这个索引了，要把这个索引删掉，然后再恢复，因为快照里已经有schema信息了：

curl -XDELETE '192.168.40.15:9200/janusgraph_vertices?pretty'