HDFS——HDFS的快照（5）

最新推荐文章于 2021-04-22 09:51:40 发布
最新推荐文章于 2021-04-22 09:51:40 发布 143 收藏
分类专栏： Hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/btt2013/article/details/102407409
版权
  • 一个snapshot(快照)是一个全部文件系统、或者某个目录在某一时刻的镜像
  • 快照应用在以下场景中：
  1. 防止用户的错误操作
  2. 备份
  3. 试验/测试
  4. 灾难恢复
  • HDFS的快照操作
  1. 开启快照  hdfs dfsadmin -allowSnapshot /input
  2. 创建快照  hdfs dfs -createSnapshot /input backup_input_20190804_01

        快照本质 Created snapshot /input/.snapshot/backup_input_20190804_01

  1. 查看快照 hdfs lsSnapshottableDir

  1. 对比快照 hdfs snapshotDiff /input backup_input_01 backup_input_20190804_02
  2. 恢复快照 hdfs dfs -cp /input/.snapshot/backup_input_20190804_01/data.txt /input

 
 

上善若水
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
hadoopit:HDFS 的自动时间点快照
06-16
hadoopit Hadoopit 是一个命令行工具，可帮助管理 HDFS 集群中数据的自动时间点快照。 您可以使用 Hadoopit 自动备份，以帮助防止由于事故或人为错误造成的数据丢失。 可以使用不同频率的快照，并保留不同的时间段。 例如; 每小时快照保留 24 小时（ --snapshot-freq 60 --snapshot-retention 24 ） 保留 1 周的每日快照（ --snapshot-freq 1440 --snapshot-retention 7 ） 每周快照保留 1 个月（ --snapshot-freq 10080 --snapshot-retention 4 ） 每月快照保留 3 个月（ --snapshot-freq 43200 --snapshot-retention 3 ） --snapshot-freq参数是必需的，它指定拍摄快照--s
【HDFS】HDFS的快照snapshot的使用
Mrerlou的博客
03-16 1256
一、snapshot命令 允许这个文件路径可以创建snapshots： hdfs dfsadmin -allowSnapshot <路径> 不允许创建目录的快照。必须先删除目录的所有快照，然后再禁止快照。 hdfs dfsadmin -disallowSnapshot <路径> 创建快照 hdfs dfs -createSnapshot <路径> [<快照名称>] [root@cm1 ~]# hdfs dfs -createSnapshot /data/m
HDFS快照
zzaliubi的博客
04-22 280
快照 一、简介 HDFS中可以对目录创建快照。快照是文件系统的只读副本，在整个文件系统或子目录上都可以创建快照，用来数据备份，防止用户误操作，和恢复。 快照的原理是在每个目标节点下面创建snapshot节点，后续任何子节点的变化都会同步记录到snapshot上。例如删除子节点下面的文件，并不是直接将文件的元数据信息和数据删除，而是将他们移动到snapshot下面。这样就能够恢复回来。snapshot保存的是一个完整的现场，不仅是删除的文件还能够找到，新创建的文件在恢复快照的时候，也不会看到。当新创建一个文件
hadoop2.x HDFS快照介绍
Amber_amber的专栏
07-23 4286
翻译自Apache官方文档，Hadoop2.x版本的snapshot快照功能介绍。
13、HDFS Snapshot快照
05-29
13、HDFS Snapshot快照 网址：https://blog.csdn.net/chenwewi520feng/article/details/130362505 快照（Snapshot）是数据存储的某一时刻的状态记录；与备份不同，备份（Backup）则是数据存储的某一个时刻的副本。 ...
《HDFS——Hadoop分布式文件系统深度实践》PDF
08-31
《HDFS——Hadoop分布式文件系统深度实践》
hadoop hdfs 备份快照
08-17
snapshot为hadoop2.1.0时新增加的功能。 主要为防止用户误删数据，和数据备份的作用 快照的对象为HDFS目录，前提是该目录是可以允许设置快照的（SnapShotable）
大数据管理与优化——hdfs配置文件
06-28
本文件内容适用于学习Hadoop时所需配置Hive的所有文件...hdfs-site.xml mapred-site.xml yarn-site.xml mapred注意.txt pwd.txt 配置文件收集不易，有部分配置内容已单独复制出来！ 希望大家点个收藏点个赞，谢谢大家！
实验项目 实战 HDFS 实验报告
04-18
一、实验目的 1. 理解 HDFS 体系架构。 2. 理解 HDFS 文件存储原理和数据读写过程。 3. 熟练掌握 HDFS Web UI 界面的使用...5. 使用 HDFS Java API 编写 HDFS 文件操作程序，实现上传本地文件到 HDFS 的功能。。。。。
Hadoop之详解HDFS架构
01-27
Hadoop包含三大基本组件：HDFS——分布式文件系统，用于数据存储YARN——统一资源管理和调度系统，用于管理集群的计算资源并根据计算框架的需求进行调度，支持包含MapReduce、Spark、Flink等多种计算框架。...
HDFS简介
01-07
一、HDFS的简介 分布式文件系统 HDFS Hadoop Distributed FileSystem 基于流数据访问模式处理超大规模的文件 适合应用大规模的数据集上 HDFS的优点 1）处理超大规模的文件 2）处理结构化，半结构化，非结构化的数据 ...
分布式存储系统——HDFS
01-14
1. 分布式文件系统与HDFS 2. HDFS 的shell 操作 ...5. HDFS 的java 访问接口 6. HDFS 的RPC 机制 7. NameNode 的接口分析 8. DataNode 的接口分析 9. HDFS 的写数据过程分析 10. HDFS 的读数据过程分析
HDFS全面详解
02-24
HadoopHDFS分布式文件系统DFS简介HDFS的系统组成介绍HDFS的组成部分详解副本存放策略及路由规则命令行接口Java接口客户端与HDFS的数据流讲解掌握hdfs的shell操作掌握hdfs的javaapi操作理解hdfs的工作原理设计思想...
大数据-HDFS（七）
01-07
大数据-HDFS（七） DataNode工作机制以及数据存储 DataNode工作机制 1）一个数据块在datanode上以文件形式存储在磁盘上，包括两个文件，一个是数据本身，一个是元数据包括数据块的长度，块数据的校验和，以及时间戳...
HDFS—Hadoop分布式文件系统深度实践
05-31
《HDFS—Hadoop分布式文件系统深度实践》 。带书签，非扫描高清文字完整版。
HDFS核心技术详解
02-24
hadoop的核心子项目——HDFS(分布式文件系统)，下面将从HDFS的背景、基本概念开始，步步深入了解HDFS的设计目标、HDFS的基本结构以及HDFS的相关操作等核心知识！随着数据量越来越大，在一个操作系统管辖的范围内存不...
Hadoop面试题总结（二）——HDFS
01-07
5、文件大小设置，增大有什么影响？   HDFS中的文件在物理上是分块存储（block），块的大小可以通过配置参数( dfs.blocksize)来规定，默认大小在hadoop2.x版本中是128M，老版本中是64M。   思考：为什么块的大小不...
HDFS Comics HDFS 漫画
07-02
HDFS是Hadoop分布式计算的存储基础。HDFS具有高容错性，可以部署在通用硬件设备上，适合数据密集型应用，并且提供对数据读写的高吞 吐量。HDFS能 够提供对数据的可扩展访问，通过简单地往集群里添加节点就可以解决...
hdfs shell操作
最新发布
06-01
### 回答1： HDFS Shell是Hadoop分布式文件系统中的命令行工具，用于管理HDFS中的文件和目录。以下是HDFS Shell常用的一些操作： 1. 列出目录中的文件和子目录：`hdfs dfs -ls <目录路径>` 2. 创建目录：`hdfs dfs -mkdir <目录路径>` 3. 删除目录：`hdfs dfs -rm -r <目录路径>` 4. 上传本地文件到HDFS：`hdfs dfs -put <本地文件路径> <HDFS目录路径>` 5. 下载HDFS文件到本地：`hdfs dfs -get <HDFS文件路径> <本地目录路径>` 6. 合并HDFS文件到本地：`hdfs dfs -getmerge <HDFS目录路径> <本地文件路径>` 7. 复制文件：`hdfs dfs -cp <源文件路径> <目标文件路径>` 8. 移动文件：`hdfs dfs -mv <源文件路径> <目标文件路径>` 9. 查看文件内容：`hdfs dfs -cat <文件路径>` 10. 修改文件权限：`hdfs dfs -chmod <权限> <文件路径>` 以上是HDFS Shell的一些常用操作，可以帮助用户管理Hadoop分布式文件系统中的文件和目录。 ### 回答2： Hadoop分布式文件系统（Hadoop Distributed File System，简称HDFS）是Apache Hadoop的核心组件之一，用于存储和处理大规模数据集。HDFS Shell是Hadoop提供的基于命令行的操作工具，用于执行文件系统的管理操作。 HDFS Shell主要提供以下操作： 1. 文件和目录操作： - ls：列出指定目录下的内容。 - mkdir：创建一个新目录。 - rm：删除指定文件或目录。 - mv：将文件或目录移动到新位置。 - chmod：修改文件或目录的权限设置。 2. 文件上传和下载： - put：上传本地文件到HDFS。 - get：将HDFS上的文件下载到本地。 3. HDFS中的文件操作： - cat：打印文件内容。 - tail：打印文件的结尾部分。 - head：打印文件的开头部分。 - du：计算文件或目录的大小。 - count：统计指定目录下文件以及目录的个数。 - checksum：计算文件内容的检验和。 4. 其他操作： - help：列出所有可用命令。 - usage：显示指定命令的使用方法信息。 - exit：退出HDFS Shell。 使用HDFS Shell进行操作时，可以根据需要选择合适的命令来执行对应的操作。例如，使用ls命令可以列出指定目录下的文件和子目录，使用put命令可以上传本地文件到HDFS，使用cat命令可以打印指定文件的内容等。 HDFS Shell操作也可以通过Shell脚本来批量执行，可以更加方便地进行文件系统管理。总的来说，HDFS Shell是一种方便、高效的文件系统操作工具，对于Hadoop用户来说是必不可少的。 ### 回答3： HDFS（Hadoop 分布式文件系统）是一个由 Apache Hadoop 提供的分布式文件存储系统。HDFS Shell 是 HDFS 文件系统的命令行接口，可以通过命令行终端进行 HDFS 文件系统的操作，实现文件的上传、下载、创建等。 HDFS Shell 使用方式如下： 1. 进入 Hadoop 环境，输入命令`hdfs dfs`或`hadoop fs`后，就可以使用 HDFS Shell。 2. 命令格式： ``` hadoop fs [通用选项] [-D <属性>=<值>] <命令> [命令选项] ``` 表示 HDFS Shell 包含的通用选项、属性选项，以及命令和命令选项。 其中，通用选项包括 `-conf`、`-D`、`-fs`、`-jt` 等，这些选项在 Hadoop 的其他模块中也可以使用。 命令包括 `cat`、`cp`、`count`、`get`、`ls`、`mkdir`、`mv`、`put`、`rm`、`rmdir` 等。 命令选项包括 `-skipTrash`、`-skipChecksum`、`-overwrite`、`-recursive` 等。 3. HDFS Shell 常用命令： `ls`：显示 HDFS 目录下的文件和目录。 `mkdir`：在 HDFS 中创建一个新的目录。 `put`：将本地文件或目录上传到 HDFS 文件系统。 `get`：将 HDFS 文件系统中的文件或目录下载到本地。 `rm`：删除 HDFS 文件系统中的文件或目录。 `mv`：将 HDFS 文件系统中的文件或目录移动到另一个位置。 4. HDFS Shell 实例： `hdfs dfs -ls /`：列出 HDFS 根目录下的文件和目录。 `hdfs dfs -mkdir /test`：在 HDFS 中创建一个名为 test 的目录。 `hdfs dfs -put localfile /test`：将本地文件 localfile 上传到 HDFS 的目录 test 中。 `hdfs dfs -get /test/hadoopfile localfile`：将 HDFS 中 test 目录下的文件 hadoopfile 下载到本地的 localfile 中。 `hdfs dfs -rm /test/hadoopfile`：删除 HDFS 中 test 目录下的文件 hadoopfile。 `hdfs dfs -mv /test/hadoopfile /test/newfile`：将 HDFS 中 test 目录下的文件 hadoopfile 移动到 test 目录下的 newfile 中。 综上所述，HDFS Shell 对于 Hadoop 分布式文件系统的管理和维护具有很重要的意义，能够方便地进行文件的上传、下载、删除、创建等操作。此外，HDFS Shell 还支持批量处理和脚本编程，可以方便地实现批量操作，提高操作效率。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

上善若水

你的鼓励将是我创作的最大动力

¥2 ¥4 ¥6 ¥10 ¥20
输入1-500的整数
余额支付 (余额：-- )
扫码支付
扫码支付：¥2
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、C币套餐、付费专栏及课程。

余额充值