Hadoop3.2.0 HDFS 快照

最新推荐文章于 2021-10-11 08:50:00 发布
最新推荐文章于 2021-10-11 08:50:00 发布
阅读量149 收藏
点赞数
分类专栏： # hadoop

HDFS快照

  • 概观 
    <ul><li><span style="color:#000000;"><a href="#Snapshottable_Directories" rel="nofollow" target="_self">Snapshottable目录</a></span></li>
	<li><span style="color:#000000;"><a href="#Snapshot_Paths" rel="nofollow" target="_self">快照路径</a></span></li>
</ul></li>
<li><span style="color:#000000;"><a href="#Upgrading_to_a_version_of_HDFS_with_snapshots" rel="nofollow" target="_self">使用快照升级到HDFS版本</a></span></li>
<li><span style="color:#000000;"><a href="#Snapshot_Operations" rel="nofollow" target="_self">快照操作</a></span>
<ul><li><span style="color:#000000;"><a href="#Administrator_Operations" rel="nofollow" target="_self">管理员操作</a></span>
	<ul><li><span style="color:#000000;"><a href="#Allow_Snapshots" rel="nofollow" target="_self">允许快照</a></span></li>
		<li><span style="color:#000000;"><a href="#Disallow_Snapshots" rel="nofollow" target="_self">禁止快照</a></span></li>
	</ul></li>
	<li><span style="color:#000000;"><a href="#User_Operations" rel="nofollow" target="_self">用户操作</a></span>
	<ul><li><span style="color:#000000;"><a href="#Create_Snapshots" rel="nofollow" target="_self">创建快照</a></span></li>
		<li><span style="color:#000000;"><a href="#Delete_Snapshots" rel="nofollow" target="_self">删除快照</a></span></li>
		<li><span style="color:#000000;"><a href="#Rename_Snapshots" rel="nofollow" target="_self">重命名快照</a></span></li>
		<li><span style="color:#000000;"><a href="#Get_Snapshottable_Directory_Listing" rel="nofollow" target="_self">获取Snapshottable目录列表</a></span></li>
		<li><span style="color:#000000;"><a href="#Get_Snapshots_Difference_Report" rel="nofollow" target="_self">获取快照差异报告</a></span></li>
	</ul></li>
</ul></li>

概观

HDFS快照是文件系统的只读时间点副本。可以在文件系统的子树或整个文件系统上拍摄快照。快照的一些常见用例是数据备份，防止用户错误和灾难恢复。

HDFS快照的实施非常有效：

  • 快照创建是即时的：成本是O（1），不包括inode查找时间。

  • 仅当相对于快照进行修改时才使用附加内存：内存使用量为O（M），其中M是已修改文件/目录的数量。

  • 不复制datanode中的块：快照文件记录块列表和文件大小。没有数据复制。

  • 快照不会对常规HDFS操作产生负面影响：以反向时间顺序记录修改，以便可以直接访问当前数据。通过从当前数据中减去修改来计算快照数据。

Snapshottable目录

一旦将目录设置为snapshottable，就可以在任何目录上拍摄快照。快照目录可以容纳65,536个同步快照。快照目录的数量没有限制。管理员可以将任何目录设置为快照。如果快照目录中有快照，则在删除所有快照之前，既不能删除也不能重命名目录。

目前不允许嵌套的快照目录。换句话说，如果其祖先/后代之一是快照目录，则无法将目录设置为snapshottable。

快照路径

对于快照目录，路径组件“.snapshot”用于访问其快照。假设  /foo 是一个snapshottable目录  /foo/bar   是在一个文件/directory/foo，和  /foo 具有快照S0。然后，路径/foo/.snapshot/s0/bar引用/ foo / bar的快照副本。通常的API和CLI可以使用“.snapshot”路径。以下是一些例子。

  • 列出快照目录下的所有快照：

    <pre class="has" style="margin-left:7px;" name="code"><code class="language-source">hdfs dfs -ls /foo/.snapshot</code></pre>
</li>
<li>
<p><span style="color:#000000;"><span style="color:#000000;">列出快照s0中的文件：</span></span></p>

<pre class="has" style="margin-left:7px;" name="code"><code class="language-source">hdfs dfs -ls /foo/.snapshot/s0</code></pre>
</li>
<li>
<p><span style="color:#000000;"><span style="color:#000000;">从快照s0复制文件：</span></span></p>

<pre class="has" style="margin-left:7px;" name="code"><code class="language-source">hdfs dfs -cp -ptopax /foo/.snapshot/s0/bar /tmp</code></pre>

<p><span style="color:#000000;"><span style="color:#000000;">请注意，此示例使用preserve选项来保留时间戳，所有权，权限，ACL和XAttrs。</span></span></p>
</li>

使用快照升级到HDFS版本

HDFS快照功能引入了用于与快照交互的新保留路径名：.snapshot。从不支持快照的旧版HDFS升级时，需要首先重命名或删除名为.snapshot的现有路径，以避免与保留路径冲突。有关详细信息，请参阅HDFS用户指南中的升级部分。

快照操作

管理员操作

本节中描述的操作需要超级用户权限。

允许快照

允许创建目录的快照。如果操作成功完成，则该目录将变为快照。

  • 命令：

    <pre class="has" style="margin-left:7px;" name="code"><code class="language-source">hdfs dfsadmin -allowSnapshot &lt;path&gt;</code></pre>
</li>
<li>
<p><span style="color:#000000;"><span style="color:#000000;">参数：</span></span></p>

<div class="table-box"><table style="margin-left:-2px;"><tbody><tr><td>path</td>
			<td style="vertical-align:top;"><span style="color:#000000;"><span style="color:#333333;">快照目录的路径。</span></span></td>
		</tr></tbody></table></div></li>

另请参见相应的Java API 无效allowSnapshot（路径路径）在HdfsAdmin。

禁止快照

不允许创建目录的快照。在禁止快照之前，必须删除目录的所有快照。

  • 命令：

    <pre class="has" style="margin-left:7px;" name="code"><code class="language-source">hdfs dfsadmin -disallowSnapshot &lt;path&gt;</code></pre>
</li>
<li>
<p><span style="color:#000000;"><span style="color:#000000;">参数：</span></span></p>

<div class="table-box"><table style="margin-left:-2px;"><tbody><tr><td style="vertical-align:top;"><span style="color:#000000;"><span style="color:#333333;">path</span></span></td>
			<td style="vertical-align:top;"><span style="color:#000000;"><span style="color:#333333;">快照目录的路径。</span></span></td>
		</tr></tbody></table></div></li>

另请参见相应的Java API 无效disallowSnapshot（路径路径）在HdfsAdmin。

用户操作

该部分描述了用户操作。请注意，HDFS超级用户可以执行所有操作，而无需满足各个操作中的权限要求。

创建快照

创建快照目录的快照。此操作需要快照目录的所有者权限。

  • 命令：

    <pre class="has" style="margin-left:7px;" name="code"><code class="language-source">hdfs dfs -createSnapshot &lt;path&gt; [&lt;snapshotName&gt;]</code></pre>
</li>
<li>
<p><span style="color:#000000;"><span style="color:#000000;">参数：</span></span></p>

<div class="table-box"><table style="margin-left:-2px;"><tbody><tr><td style="vertical-align:top;"><span style="color:#000000;"><span style="color:#333333;">path</span></span></td>
			<td style="vertical-align:top;"><span style="color:#000000;"><span style="color:#333333;">快照目录的路径。</span></span></td>
		</tr><tr><td style="vertical-align:top;"><span style="color:#000000;"><span style="color:#333333;">snapshotName</span></span></td>
			<td style="vertical-align:top;"><span style="color:#000000;"><span style="color:#333333;">快照名称，是可选参数。省略时，使用格式为“'s'yyyyMMdd-HHmmss.SSS”的时间戳生成默认名称，例如“s20130412-151029.033”。</span></span></td>
		</tr></tbody></table></div></li>

另请参见相应的Java API 路径createSnapshot（路径路径）和路径createSnapshot（路径路径字符串snapshotName）在文件系统快照路径在这些方法返回。

删除快照

从快照目录中删除快照。此操作需要快照目录的所有者权限。

  • 命令：

    <pre class="has" style="margin-left:7px;" name="code"><code class="language-source">hdfs dfs -deleteSnapshot &lt;path&gt; &lt;snapshotName&gt;</code></pre>
</li>
<li>
<p><span style="color:#000000;"><span style="color:#000000;">参数：</span></span></p>

<div class="table-box"><table style="margin-left:-2px;"><tbody><tr><td style="vertical-align:top;"><span style="color:#000000;"><span style="color:#333333;">path</span></span></td>
			<td style="vertical-align:top;"><span style="color:#000000;"><span style="color:#333333;">快照目录的路径。</span></span></td>
		</tr><tr><td style="vertical-align:top;"><span style="color:#000000;"><span style="color:#333333;">snapshotName</span></span></td>
			<td style="vertical-align:top;"><span style="color:#000000;"><span style="color:#333333;">快照名称。</span></span></td>
		</tr></tbody></table></div></li>

另请参见相应的Java API 无效deleteSnapshot（路径路径字符串snapshotName）的文件系统。

重命名快照

重命名快照。此操作需要快照目录的所有者权限。

  • 命令：

    <pre class="has" style="margin-left:7px;" name="code"><code class="language-source">hdfs dfs -renameSnapshot &lt;path&gt; &lt;oldName&gt; &lt;newName&gt;




  • 参数：

  • <div class="table-box"><table style="margin-left:-2px;"><tbody><tr><td style="vertical-align:top;"><span style="color:#000000;"><span style="color:#333333;">path</span></span></td>
			<td style="vertical-align:top;"><span style="color:#000000;"><span style="color:#333333;">快照目录的路径。</span></span></td>
		</tr><tr><td style="vertical-align:top;"><span style="color:#000000;"><span style="color:#333333;">oldName</span></span></td>
			<td style="vertical-align:top;"><span style="color:#000000;"><span style="color:#333333;">旧快照名称。</span></span></td>
		</tr><tr><td style="vertical-align:top;"><span style="color:#333333;">newName</span></td>
			<td style="vertical-align:top;"><span style="color:#000000;"><span style="color:#333333;">新快照名称。</span></span></td>
		</tr></tbody></table></div></li>

    另请参见相应的Java API 无效renameSnapshot（路径路径，字符串使用oldName，字符串newName）将在文件系统。

    获取Snapshottable目录列表

    获取当前用户有权使用snapshtos的所有快照目录。

    • 命令：

      <pre class="has" style="margin-left:7px;" name="code"><code class="language-source">hdfs lsSnapshottableDir</code></pre>
</li>
<li>
<p>Arguments&nbsp;<span style="color:#000000;"><span style="color:#000000;">：无</span></span></p>
</li>

    另请参见相应的Java API SnapshottableDirectoryStatus [] getSnapshottableDirectoryListing（）中DistributedFileSystem。

    获取快照差异报告

    获取两个快照之间的差异。此操作需要两个快照中所有文件/目录的读访问权限。

    • 命令：

      <pre class="has" style="margin-left:7px;" name="code"><code class="language-source">hdfs snapshotDiff &lt;path&gt; &lt;fromSnapshot&gt; &lt;toSnapshot&gt;</code></pre>
</li>
<li>
<p><span style="color:#000000;"><span style="color:#000000;">参数：</span></span></p>

<div class="table-box"><table style="margin-left:-2px;"><tbody><tr><td style="vertical-align:top;"><span style="color:#333333;">path</span></td>
			<td style="vertical-align:top;"><span style="color:#000000;"><span style="color:#333333;">快照目录的路径。</span></span></td>
		</tr><tr><td style="vertical-align:top;"><span style="color:#000000;"><span style="color:#333333;">fromSnapshot</span></span></td>
			<td style="vertical-align:top;"><span style="color:#000000;"><span style="color:#333333;">起始快照的名称。</span></span></td>
		</tr><tr><td style="vertical-align:top;"><span style="color:#000000;"><span style="color:#333333;">toSnapshot</span></span></td>
			<td style="vertical-align:top;"><span style="color:#000000;"><span style="color:#333333;">结束快照的名称。</span></span></td>
		</tr></tbody></table></div><p><span style="color:#000000;"><span style="color:#000000;">请注意，snapshotDiff可用于获取两个快照之间或快照与目录当前状态之间的差异报告。用户可以使用“。”来表示当前状态。</span></span></p>
</li>
<li>
<p><span style="color:#000000;"><span style="color:#000000;">结果：</span></span></p>

<div class="table-box"><table style="margin-left:-2px;"><tbody><tr><td style="vertical-align:top;"><span style="color:#000000;"><span style="color:#333333;">+</span></span></td>
			<td style="vertical-align:top;"><span style="color:#000000;"><span style="color:#333333;">文件/目录已创建。</span></span></td>
		</tr><tr><td style="vertical-align:top;"><span style="color:#000000;"><span style="color:#333333;">-</span></span></td>
			<td style="vertical-align:top;"><span style="color:#000000;"><span style="color:#333333;">文件/目录已被删除。</span></span></td>
		</tr><tr><td style="vertical-align:top;"><span style="color:#333333;">M</span></td>
			<td style="vertical-align:top;"><span style="color:#000000;"><span style="color:#333333;">文件/目录已被修改。</span></span></td>
		</tr><tr><td style="vertical-align:top;"><span style="color:#000000;"><span style="color:#333333;">R</span></span></td>
			<td style="vertical-align:top;"><span style="color:#000000;"><span style="color:#333333;">文件/目录已重命名。</span></span></td>
		</tr></tbody></table></div></li>

    一个RENAME条目表示一个文件/目录已被重命名，但仍然是相同的snapshottable目录下。如果文件/目录已重命名为snapshottble目录之外，则报告为已删除。从snapshottble目录外部重命名的文件/目录将报告为新创建的。

    快照差异报告不保证相同的操作顺序。例如，如果我们将目录“/ foo”重命名为“/ foo2”，然后将新数据附加到文件“/ foo2 / bar”，则差异报告将为：

    R. /foo -> /foo2
M. /foo/bar

    即，使用重命名之前的原始路径（在上面的示例中为“/ foo / bar”）报告重命名目录下的文件/目录的更改。

    另请参见相应的Java API SnapshotDiffReport getSnapshotDiffReport（路径路径，字符串fromSnapshot，字符串toSnapshot）在DistributedFileSystem。

     

    原文链接: https://hadoop.apache.org/docs/r3.2.0/

weixin_42868638
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
hadoop hdfs 备份快照
08-17
snapshot为hadoop2.1.0时新增加的功能。 主要为防止用户误删数据，和数据备份的作用 快照的对象为HDFS目录，前提是该目录是可以允许设置快照的（SnapShotable）
云计算（十一）- HDFS快照（HDFS Snapshots）
DK的专栏
12-07 2974
综述 HDFS Snapshots are read-only point-in-time copies of the file system. Snapshots can be taken on a subtree of the file system or the entire file system. Some common use cases of snapshots are d
Hadoop----hdfs快照
WQY992的博客
04-14 868
概况 HDFS快照是文件系统的只读时间点副本。可以在文件系统的子树或整个文件系统上拍摄快照。快照的一些常见用例是数据备份，防止用户错误和灾难恢复。 特点 快照创建是即时的：成本是O（1），不包括inode查找时间。 仅当相对于快照进行修改时才使用附加内存：内存使用量为O（M），其中M是已修改文件/目录的数量。 不复制datanode中的块：快照文件记录块列表和文件大小。没有数据复制。 快照不会对常...
HDFS的快照讲解
大数据技术派
10-11 928
一个snapshot（快照）是一个全部文件系统、或者某个目录在某一时刻的镜像，使用vmware类似软件的同学指定，快照可以为虚拟机保存某个状态，如果做了更改，或者系统被折腾坏，还有个复原的...
hadoop-hdfs-3.2.0.jar
02-24
hadoop-hdfs-3.2.0.jar
hadoop-hdfs-client-2.9.1-API文档-中文版.zip
04-07
赠送jar包：hadoop-hdfs-client-2.9.1.jar 赠送原API文档：hadoop-hdfs-client-2.9.1-javadoc.jar 赠送源代码：hadoop-hdfs-client-2.9.1-sources.jar 包含翻译后的API文档：hadoop-hdfs-client-2.9.1-javadoc-...
Hadoop-HDFS.xmind
05-20
hadoop-hdfs快速入门 内容概要：HDFS是Apache Hadoop中的分布式文件系统，用于处理大规模数据集。它通过数据局部性原理减少网络传输，提高了系统效率；同时提供数据备份和自我修复机制，确保数据安全性和可靠性。 ...
hadoop-hdfs架构
最新发布
09-25
hadoop-hdfs架构
HDFS快照管理
热门推荐
走在前往架构师的路上
05-03 1万+
前言 之前的文章中谈论了几个最近几年HDFS中比较重要的特性(比如异构存储),本文继续探讨另一重大特性-Snapshot.Snapshot就是快照的意思.Snapshot是一个非常好的东西,一个形象的比喻,快照就好像拍风景照时的那一个瞬间的投影,过了那个时间点之后,又会有新的一个瞬间投影.所以其实Snapshot快照用一个更好的词来形容就是”瞬间映像“. Snapshot快照概念
HDFS 快照
RonieWhite的博客
12-22 429
概述 HDFS 快照（Snapshots）是文件系统在特定时间点生成的只读备份。快照可以在文件系统的一个子分支或整个文件系统上生成。快照的常见使用场景就是数据的备份，以达到容错容灾的目的。 快照的创建是瞬时的：复杂度为O(1)（不包含inode查找时间）。 仅当对快照进行修改时才使用额外的内存：内存使用空间复杂度是O(M)，其中M是修改的文件/目录的数量。 DataNode里的数据块不会被复制：快照文件只对数据块，数据块的大小进行记录，不产生数据复制。 快照不会对常规HDFS操作产生负面影响：修改
快照使用基本语法
wangxiansheng322的博客
10-16 678
快照使用基本语法 1、 开启指定目录的快照功能 hdfs dfsadmin -allowSnapshot 路径 2、禁用指定目录的快照功能（默认就是禁用状态） hdfs dfsadmin -disallowSnapshot 路径 3、给某个路径创建快照snapshot hdfs dfs -createSnapshot 路径 4、指定快照名称进行创建快照snapshot hdfs dfs -createSanpshot 路径 名称 5、给快照重新命名 hdfs dfs -renameSnapsh
HDFS快照
zzaliubi的博客
04-22 442
快照 一、简介 HDFS中可以对目录创建快照。快照是文件系统的只读副本，在整个文件系统或子目录上都可以创建快照，用来数据备份，防止用户误操作，和恢复。 快照的原理是在每个目标节点下面创建snapshot节点，后续任何子节点的变化都会同步记录到snapshot上。例如删除子节点下面的文件，并不是直接将文件的元数据信息和数据删除，而是将他们移动到snapshot下面。这样就能够恢复回来。snapshot保存的是一个完整的现场，不仅是删除的文件还能够找到，新创建的文件在恢复快照的时候，也不会看到。当新创建一个文件
HDFS_快照
Regan_Hoo的博客
11-20 441
快照的含义快照不是数据的简单拷贝，快照只做差异的记录。HDFS中只为每个快照保存相对当时快照创建时间点发生过变更的INode信息，只是“存不同”。 快照的作用① 丢失数据的恢复。这里丢失的数据指的是相对于创建快照时间点之后丢失的数据。在HDFS的快照中，只会额外复制发生变更的数据，所以在快照内部，自然会存在丢失数据的一个备份，这个时候只需要将对应快照文件目录拷贝一份即可。② 元数据的差异比较。HDF
HDFS快照 | HDFS Snapshots
Gamedev
03-03 994
HDFS快照 概况 HDFS快照是文件系统的只读时间点副本。快照可以在文件系统的子树上或整个文件系统上进行。快照的一些常见用例是数据备份，防止用户错误和灾难恢复。 HDFS快照的实施非常高效： 快照创建是即时的：成本为O（1），不包括索引节点查找时间。 额外内存仅在相对于快照进行修改时使用：内存使用量为O（M），其中M是修改的文件/目录的数量。...
hdfs 快照管理
qq_37668945的博客
10-18 295
快照管理 -------------------- 1.描述 迅速对文件(夹)进行备份。不产生新文件，使用差值存储。 默认是禁用快照,先启用。 2.命令 $>hdfs dfsadmin -allowSnapShot dir1 //在dir1启用快照 $>hdfs dfsadmin -disallowSnapShot dir1 //在dir1启用快照 ...
Hadoop-2.4.1学习之HDFS快照
skyWalker_ONLY
10-23 5012
HDFS快照是文件系统的只读的实时的拷贝，可以是文件系统的一部分或者整个文件系统。快照的一些通用场景是数据备份，对用户错误的保护和灾难恢复。HDFS的快照实现是高效的： l  快照的创建时瞬间完成的，排除查找inode的时间，需要花费O(1)，即常数时间。 l  只有执行与快照相关的修改时才需要额外的内存，内存开销为O(M)，M为修改的文件或者目录的数量。 l  DataNodes中的块不会
hdfs snapshot hdfs快照操作
风情
03-30 1532
允许对/first文件夹使用快照功能hdfs dfsadmin -allowSnapshot /first对/first文件夹创建快照，快照名为snapshot0hdfs dfs -createSnapshot /first snapshot0查看快照，快照存放在被快照的文件夹的.snapshot文件夹里hadoop fs -ls /first/.snapshot递归查看快照hadoop fs -...
hadoop 3.2.0 zookeeper安装
09-14
要安装Hadoop 3.2.0和ZooKeeper，可以按照以下步骤进行操作： 1. 将Hadoop 3.2.0的安装包上传到/opt/install目录，并解压缩并移动到/opt目录中。可以使用以下命令： ``` tar -zxvf hadoop-3.2.0.tar.gz mv ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值