elasticsearch之 hdfs上的备份和还原操作

于 2022-07-30 23:48:37 发布
阅读量1k 收藏 1
点赞数 1
分类专栏： Elasticsearch 文章标签： elasticsearch hdfs 大数据
wudl
本文链接：https://blog.csdn.net/wudonglianga/article/details/126076275
版权

1. es 快照备份和还原 原理

在这里插入图片描述

版本兼容
官网说明https://www.elastic.co/guide/en/elasticsearch/reference/7.17/snapshot-restore.html
在这里插入图片描述

在这里插入图片描述

2. 下载查插件的地址

https://artifacts.elastic.co/downloads/elasticsearch-plugins/repository-hdfs/repository-hdfs-7.12.0.zip

3. 下载后放入到elasticsearch 安装目录中的elasticsearch/plugins 中

[root@basenode repository-hdfs]# pwd
/root/tools/elasticsearch/plugins/repository-hdfs
[root@basenode repository-hdfs]# ll
总用量 18628
-rw-r--r-- 1 root root   41123 7月   3 2019 commons-cli-1.2.jar
-rw-r--r-- 1 root root  335042 7月   3 2019 commons-codec-1.11.jar
-rw-r--r-- 1 root root  588337 7月   3 2019 commons-collections-3.2.2.jar
-rw-r--r-- 1 root root  298829 7月   3 2019 commons-configuration-1.6.jar
-rw-r--r-- 1 root root  185140 7月   3 2019 commons-io-2.4.jar
-rw-r--r-- 1 root root  284220 7月   3 2019 commons-lang-2.6.jar
-rw-r--r-- 1 root root   62050 7月   3 2019 commons-logging-1.1.3.jar
-rw-r--r-- 1 root root 1648200 7月   3 2019 guava-11.0.2.jar
-rw-r--r-- 1 root root   45930 3月  26 2020 hadoop-annotations-2.8.5.jar
-rw-r--r-- 1 root root  123295 3月  26 2020 hadoop-auth-2.8.5.jar
-rw-r--r-- 1 root root   29917 3月  26 2020 hadoop-client-2.8.5.jar
-rw-rw-r-- 1 root root 3948772 3月  18 2021 hadoop-common-7.12.0.jar
-rw-r--r-- 1 root root 4857023 3月  26 2020 hadoop-hdfs-2.8.5.jar
-rw-r--r-- 1 root root 4093994 3月  26 2020 hadoop-hdfs-client-2.8.5.jar
-rw-r--r-- 1 root root 1485102 7月   3 2019 htrace-core4-4.0.1-incubating.jar
-rw-r--r-- 1 root root   34447 3月  18 2021 LICENSE.txt
-rw-r--r-- 1 root root   63731 7月   3 2019 log4j-1.2-api-2.11.1.jar
-rw-r--r-- 1 root root   23241 7月   3 2019 log4j-slf4j-impl-2.11.1.jar
-rw-rw-r-- 1 root root  165628 3月  18 2021 NOTICE.txt
-rw-rw-r-- 1 root root    1748 3月  18 2021 plugin-descriptor.properties
-rw-r--r-- 1 root root    3739 3月  18 2021 plugin-security.policy
-rw-r--r-- 1 root root  533455 7月   3 2019 protobuf-java-2.5.0.jar
-rw-rw-r-- 1 root root   34685 3月  18 2021 repository-hdfs-7.12.0.jar
-rw-r--r-- 1 root root  105112 7月   3 2019 servlet-api-2.5.jar
-rw-r--r-- 1 root root   25689 7月   3 2019 slf4j-api-1.6.2.jar
[root@basenode repository-hdfs]#

3. 重启Elasticsearch 并且验证

docker restart 949389b28b4e

3.1验证：

GET /_cat/plugins?v
http://192.168.1.180:9200/_cat/plugins?v
在这里插入图片描述

4. 创建仓库

hdfs 创建仓库文件夹 hdfs dfs -mkdir -p /elasticsearch/backups/my_hdfs_repository

[root@node01 ~]# hdfs dfs -mkdir -p /elasticsearch/backups/my_hdfs_repository
[root@node01 ~]# hdfs dfs -ls /
Found 28 items
drwxr-xr-x   - Administrator hdfs            0 2021-12-27 00:50 /FlinkFileSink
drwxrwxrwt   - yarn          hadoop          0 2020-08-07 03:02 /app-logs
drwxr-xr-x   - hdfs          hdfs            0 2020-08-07 00:40 /apps
drwxr-xr-x   - yarn          hadoop          0 2020-08-06 23:58 /ats
drwxr-xr-x   - hdfs          hdfs            0 2020-08-07 00:04 /atsv2
drwxr-xr-x   - root          hdfs            0 2021-10-02 18:25 /cdc-test
drwxr-xr-x   - hdfs          hdfs            0 2021-10-02 18:57 /cdc2.0-test
drwxr-xr-x   - root          hdfs            0 2022-07-30 21:34 /elasticsearch
drwxr-xr-x   - Administrator hdfs            0 2020-11-12 00:20 /fink-checkpoint
drwxr-xr-x   - root          hdfs            0 2022-02-09 23:08 /flink
drwxr-xr-x   - Administrator hdfs            0 2021-12-27 00:50 /flink-checkpoint
drwxr-xr-x   - root          hdfs            0 2022-02-13 20:53 /flink-hudi
drwxr-xr-x   - hdfs          hdfs            0 2020-08-07 00:21 /warehouse
[root@node01 ~]#

命令：

PUT _snapshot/my_hdfs_repository
{
  "type": "hdfs",
  "settings": {
    "uri": "hdfs://192.168.1.161:8020",
    "path": "/elasticsearch/backups/my_hdfs_repository",
    "conf.dfs.client.read.shortcircuit": "false"
  }
}
--------------------------------------------------------
{
  "acknowledged" : true
}

4.1 查看仓库快照

  # 查看仓库快照 
GET /_cat/repositories 
---------------------------------
my_hdfs_repository hdfs

4.2 指定索引创建快照

PUT /_snapshot/my_hdfs_repository/my_hdfs_repository_snapshot100
{
  "indices": "wudbes",
  "ignore_unavailable": false,
  "include_global_state": true,
  "partial": false
}

--------------------------------------------------
{
  "accepted" : true
}

4.3 全部索引快照

PUT /_snapshot/my_hdfs_repository/my_hdfs_repository_snapshot101
{
  
}
--------------------------------------------------
{
  "accepted" : true
}

4.4 查看快照进度

 GET /_cat/snapshots/my_hdfs_repository?v&s=id

-------------------------------------------------
id                              status start_epoch start_time end_epoch  end_time duration indices successful_shards failed_shards total_shards
my_hdfs_repository_snapshot100 SUCCESS 1659193380  15:03:00   1659193384 15:03:04     3.2s       5                 5             0            5
my_hdfs_repository_snapshot101 SUCCESS 1659193454  15:04:14   1659193456 15:04:16     2.4s       9                 9             0            9

4.5 查看快照状态

   GET /_snapshot/my_hdfs_repository/my_hdfs_repository_snapshot100/_status

-------------------------------------------------
{
  "snapshots" : [
    {
      "snapshot" : "my_hdfs_repository_snapshot100",
      "repository" : "my_hdfs_repository",
      "uuid" : "iaZaOgATR9GNsYZYhCmlsw",
      "state" : "SUCCESS",
      "include_global_state" : true,
      "shards_stats" : {
        "initializing" : 0,
        "started" : 0,
        "finalizing" : 0,
        "done" : 5,
        "failed" : 0,
        "total" : 5
      },
      "stats" : {
        "incremental" : {
          "file_count" : 107,
          "size_in_bytes" : 2342202
        },
        "total" : {
          "file_count" : 107,
          "size_in_bytes" : 2342202
        },
        "start_time_in_millis" : 1659193380831,
        "time_in_millis" : 3207
      },
      "indices" : {
        ".kibana_task_manager_7.12.0_001" : {
          "shards_stats" : {
            "initializing" : 0,
            "started" : 0,
            "finalizing" : 0,
            "done" : 1,
            "failed" : 0,
            "total" : 1
          },
          "stats" : {
            "incremental" : {
              "file_count" : 71,
              "size_in_bytes" : 111765
            },
            "total" : {
              "file_count" : 71,
              "size_in_bytes" : 111765
            },
            "start_time_in_millis" : 1659193381232,
            "time_in_millis" : 2806
          },
          "shards" : {
            "0" : {
              "stage" : "DONE",
              "stats" : {
                "incremental" : {
                  "file_count" : 71,
                  "size_in_bytes" : 111765
                },
                "total" : {
                  "file_count" : 71,
                  "size_in_bytes" : 111765
                },
                "start_time_in_millis" : 1659193381232,
                "time_in_millis" : 2806
              }
            }
          }
        },
        ".apm-custom-link" : {
          "shards_stats" : {
            "initializing" : 0,
            "started" : 0,
            "finalizing" : 0,
            "done" : 1,
            "failed" : 0,
            "total" : 1
          },
          "stats" : {
            "incremental" : {
              "file_count" : 1,
              "size_in_bytes" : 208
            },
            "total" : {
              "file_count" : 1,
              "size_in_bytes" : 208
            },
            "start_time_in_millis" : 1659193381433,
            "time_in_millis" : 0
          },
          "shards" : {
            "0" : {
              "stage" : "DONE",
              "stats" : {
                "incremental" : {
                  "file_count" : 1,
                  "size_in_bytes" : 208
                },
                "total" : {
                  "file_count" : 1,
                  "size_in_bytes" : 208
                },
                "start_time_in_millis" : 1659193381433,
                "time_in_millis" : 0
              }
            }
          }
        },
        ".apm-agent-configuration" : {
          "shards_stats" : {
            "initializing" : 0,
            "started" : 0,
            "finalizing" : 0,
            "done" : 1,
            "failed" : 0,
            "total" : 1
          },
          "stats" : {
            "incremental" : {
              "file_count" : 1,
              "size_in_bytes" : 208
            },
            "total" : {
              "file_count" : 1,
              "size_in_bytes" : 208
            },
            "start_time_in_millis" : 1659193380831,
            "time_in_millis" : 401
          },
          "shards" : {
            "0" : {
              "stage" : "DONE",
              "stats" : {
                "incremental" : {
                  "file_count" : 1,
                  "size_in_bytes" : 208
                },
                "total" : {
                  "file_count" : 1,
                  "size_in_bytes" : 208
                },
                "start_time_in_millis" : 1659193380831,
                "time_in_millis" : 401
              }
            }
          }
        },
        "wudbes" : {
          "shards_stats" : {
            "initializing" : 0,
            "started" : 0,
            "finalizing" : 0,
            "done" : 1,
            "failed" : 0,
            "total" : 1
          },
          "stats" : {
            "incremental" : {
              "file_count" : 10,
              "size_in_bytes" : 12709
            },
            "total" : {
              "file_count" : 10,
              "size_in_bytes" : 12709
            },
            "start_time_in_millis" : 1659193381232,
            "time_in_millis" : 1403
          },
          "shards" : {
            "0" : {
              "stage" : "DONE",
              "stats" : {
                "incremental" : {
                  "file_count" : 10,
                  "size_in_bytes" : 12709
                },
                "total" : {
                  "file_count" : 10,
                  "size_in_bytes" : 12709
                },
                "start_time_in_millis" : 1659193381232,
                "time_in_millis" : 1403
              }
            }
          }
        },
        ".kibana_7.12.0_001" : {
          "shards_stats" : {
            "initializing" : 0,
            "started" : 0,
            "finalizing" : 0,
            "done" : 1,
            "failed" : 0,
            "total" : 1
          },
          "stats" : {
            "incremental" : {
              "file_count" : 24,
              "size_in_bytes" : 2217312
            },
            "total" : {
              "file_count" : 24,
              "size_in_bytes" : 2217312
            },
            "start_time_in_millis" : 1659193381232,
            "time_in_millis" : 2806
          },
          "shards" : {
            "0" : {
              "stage" : "DONE",
              "stats" : {
                "incremental" : {
                  "file_count" : 24,
                  "size_in_bytes" : 2217312
                },
                "total" : {
                  "file_count" : 24,
                  "size_in_bytes" : 2217312
                },
                "start_time_in_millis" : 1659193381232,
                "time_in_millis" : 2806
              }
            }
          }
        }
      }
    }
  ]
}

4.6 es 备份hdfs 的目录文件

在这里插入图片描述

4.7 删除快照

DELETE /_snapshot/my_hdfs_repository/smy_hdfs_repository_snapshot100

--------------------------------------------------
{
  "accepted" : true
}

5. 快照还原

要先将快照删除之前的索引在还原，如果是全部的索引 还原 就将全部的索引删除，但是.kibana的索引无法删除要用poostmain 删除 就不会建了 因为用kibana 会自动创建索引。

POST /_snapshot/my_hdfs_repository/my_hdfs_repository_snapshot100/_restore
{
 "indices": "wudbes",
  "index_settings": {
    "index.number_of_replicas": 0
  },
  "ignore_index_settings": [
    "index.refresh_interval"
  ]
}
------------------------------------------

{
  "accepted" : true
}

查看

GET /_cat/indices?v
health status index                           uuid                   pri rep docs.count docs.deleted store.size pri.store.size
green  open   .kibana_task_manager_7.12.0_001 fj0u3Mi9Th-i4bjgiA3JQw   1   0          9          335    165.8kb        165.8kb
green  open   .apm-custom-link                Q-Aexfq3TV2rt7G_YdALyQ   1   0          0            0       208b           208b
green  open   .apm-agent-configuration        z19tPJXYRKeppcMT_r3xnw   1   0          0            0       208b           208b
green  open   wudbes                          SlWWdlztRci3BPY6HGSVwg   1   0          3            0     12.4kb         12.4kb
green  open   .kibana_7.12.0_001              fFsDUjaNSjuWq1-13tQMGw   1   0         60           36      4.2mb          4.2mb
green  open   .kibana-event-log-7.12.0-000001 OsA26AZESX6wvi1Jvy1xTQ   1   0          1            0      5.6kb          5.6kb
yellow open   wudl_book                       qfo8coDoTYuTzLitaNEAUA   1   1          3            0     14.2kb         14.2kb
yellow open   wubigdata                       rgLSb-jESwWMebzacl0ESw   1   1          4            1     10.8kb         10.8kb

已经还原成功

POST /_snapshot/repository1/snapshot-20211214-001/_restore
{
}
------------------------------------------

{
  "accepted" : true
}
wudl5566
关注
专栏目录
ElasticSearch的备份与恢复：实战技巧
AI天才研究院
02-15 118
1. 背景介绍 1.1 什么是ElasticSearch ElasticSearch是一个基于Lucene的分布式搜索引擎，它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口。ElasticSearch是用Java开发的，可以作为一个独立的应用程序运行。它的主
【Elasticsearch】Elasticsearch：Searchable snapshot - 可搜索的快照
九师兄
07-18 778
可搜索快照使你可以使用快照（snapshot）以极具成本效益的方式搜索不经常访​​问的只读数据。冷的（cold）和冻结的（frozen）数据层使用可搜索的快照来减少存储和运营成本。可搜索的快照消除了对副本分片 （replica shards）的需求，从而有可能使搜索数据所需的本地存储减半。可搜索快照依赖于已经用于备份的快照机制，并且对快照存储库存储成本的影响最小。
HDFS中NameNode节点的配置、备份和恢复.doc
06-10
详细讲解了Hdfs中NameNode节点的配置,备份和恢复,以及secondNamenode的配置
hdfs备份操作
争当鲲鹏飞万里 不做燕雀恋子巢
03-29 1262
allowSnapshot: Access denied for user root. Superuser privilege is required 切换成hdfs用户，执行hdfs dfsadmin -allowSnapshot hdfs目录 查询该目录是否可以备份； -bash-4.1$ hdfs dfsadmin -allowSnapshot /user/qxm Allowi...
Hadoop学习——HDFS数据备份与放置策略
07-07 2万+
对于分布式文件系统来说，为了保证数据的高可用性和系统容错能力，往往会把同一数据块在多个节点上进行备份，那么如何分配这些复制数据的位置，不同的文件系统会有不同的策略。 一、业界分析 在介绍HDFS之前，先简单了解一些其它文件系统的放置策略： 1. Lustre——一致性哈希环 对于不同的数据备份，需要放到不同的节点上面，一种直观的想法就是利用Hash函数，这样可以把每个备份id对应到一个哈希
Elasticsearch备份数据到HDFS
ysl1242157902的专栏
01-31 9981
1. 问题 Elasticsearch 副本提供了高可靠性；它们让你可以容忍零星的节点丢失而不会中断服务。但是，副本并不提供对灾难性故障的保护。对这种情况，你需要的是对集群真正的备份——在某些东西确实出问题的时候有一个完整的拷贝。 2.解决方案 通过快照的方式，将Elasticsearch集群中的数据，备份到HDFS上，这样数据即存在于Elasticsearch(简称ES)集群当中，又存在
Elasticsearch如何备份到HDFS
u010739163的博客
08-15 1888
es备份到hdfs 简介 elasticsearch副本提供了高可靠性；它可以保证节点丢失而不会中断服务，但是副本不能做到容灾备份，所以需要把elasticsearch的数据被分到hdfs中。 测试环境 elasticsearch 6.3.2 Hadoop 2.9.1 操作步骤 安装repository-hdfs 进入ES的目录，执行命令：bin/elasticsearch...
ElasticSearch 快照备份和还原
热门推荐
SomeDay的专栏
09-19 2万+
ES提供快照和恢复功能，我们可以在远程文件系统仓库（比如共享文件系统、S3、HDFS等）中单独给部分索引或者整个集群创建快照 1. 查看仓库 # curl -X GET "10.17.4.200:9200/_cat/repositories?v" id ty
elasticsearch备份恢复snapshot&restore
w1346561235的博客
09-29 1739
本文基于es7.1版本。部分内容在较旧或较新版本可能不十分准确。 es提供对于运行中的集群的备份恢复功能，利用此功能可以备份整个集群（open或者started状态的分片，备份不了closed的index），或者备份指定的index。备份目标存储可以是网络文件系统NFS、Amazon S3、HDFS、Azure（将来可能不支持deprecated）、以及谷歌云存储。 对于不同es版本备份数据与...
Elasticsearch中的数据备份与恢复技术详解
对于Elasticsearch来说，索引数据的丢失可能导致严重的业务中断和数据丢失。因此，及时进行数据备份是保障数据安全的重要手段。 ## 1.2 数据备份的好处及影响 数据备份可以最大程度地减少数据丢失风险，避免误操作...
[案例]从冷备份的hdfs数据中恢复到原来的hbase表
04-08
介绍了从之前冷备份到hdfs的Hbase数据中恢复数据到hbase表的操作流程，使用的hbase-1.1，hadoop-2.7
hadoop hdfs 备份快照
08-17
snapshot为hadoop2.1.0时新增加的功能。 主要为防止用户误删数据，和数据备份的作用 快照的对象为HDFS目录，前提是该目录是可以允许设置快照的（SnapShotable）
tbase配置hdfs备份
长期深耕于云计算、大数据、数据库领域！
12-20 620
作者：XuYuchong 1，系统环境变量配置 exportJAVA_HOME=/opt/jdk1.8.0_40 exportHADOOP_HOME=/opt/hadoop-3.3.0 exportPATH=$PATH:$JAVA_HOME/bin exportPATH=$PATH:/opt/hadoop-3.3.0/bin/:/opt/hadoop-3.3.0/sbin 2，配置hadoop，使用hadoop用户 //本次测试使用了，单节点，伪分布式模式，搭建HDFS文件系统，用...
HDFS文件系统数据备份
weixin_34184158的博客
02-26 573
HDFS快照是一个只读的基于时间点文件系统拷贝。快照可以是整个文件系统的 也可以是一部分。常用来作为数据备份，防止用户错误和容灾快照功能。 HDFS实现功能： Snapshot 创建的时间 复杂度为O(1)，但是不包括INode 的寻找时间 只有当修改SnapShot时，才会有额外的内存占用，内存使用量...
设计和实现一个简单的hdfs的备份恢复与容灾系统（1）
asrcloud的博客
04-29 1970
其实这是我的毕业论文课题，好吧，虽然我十二月份就要交，虽然现在已经4月底，虽然我连hello world都还没写。 不过我不怕，我这不已经开始了吗，那么今天做什么呢，从什么地方开始呢？这么复杂的问题，暂时不去想他吧，刷牙洗澡睡觉
elasticsearch hdfs 备份数据
Lee_Suoer的博客
04-11 650
首先创建好hdfs 集群，再修改一下hdfs-site.xml ，添加 <property> <name>dfs.permissions</name> <value>false</value> </property> 因为我的hdfs是用root用户操作的，elasticsearch 是用 es 用户操作的，...
在备份存储位置上创建目录时出错_06616.2.0Hadoop数据备份与恢复
weixin_39862716的博客
11-29 301
作者：汪汝庆1文档编写目的在Hadoop集群中，数据文件是以Block的方式存储在HDFS上，而HDFS上数据的名称，副本存储的地址等都是通过NameNode上的元数据来保存的。Hive的数据库和表的数据也是保存在HDFS中，而Hive的元数据metastore则保存在关系型数据库中。这些文件和数据如果丢失或者损坏，都会导致相应的服务不可用，Hadoop集群可以启用某些组件和服务的高可用...
《大数据： Hadoop（HDFS） NN数据备份》
yexiangCSDN的专栏
09-28 529
dd
【F2C】用repository-hdfs将elasticsearch的索引备份到hdfs
KANITAN___的博客
07-19 3582
最近在研究ELK，随手写点笔记心得，新手新手 ============================================== 参考了这篇文章的 http://bigbo.github.io/pages/2015/02/28/elasticsearch_hadoop/ 自己在做的时候有些不同，可能版本更新了吧，现在用的是5.5版本的，所以说到底还是官方为准… hadoop为2.
Elasticsearch-Hadoop 8.8.0：HDFS集群与ES交互工具
Elasticsearch-Hadoop项目致力于实现Elasticsearch和Hadoop集群之间的高效交互，它允许Hadoop用户通过Hadoop作业直接访问和分析存储在Elasticsearch中的数据，无需进行复杂的数据迁移或转换。这一点对于需要结合两种...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值