新一代VNX软件架构 - 数据块级重复数据删除

原创 2013年12月06日 00:08:25

新一代VNX软件架构 - 数据块级重复数据删除


转载请在文首保留原文出处:EMC中文支持论坛https://community.emc.com/go/chinese

介绍


     数据块级的重复数据删除(Block Deduplication)是新一代VNX新加入的功能(原先仅支持文件级别的重复数据删除)。简单来说,重复数据删除(又称数据消重)就是确认存储对象中的数据是否重复,并将它们合并后只保留一份实际的数据拷贝的过程。这一功能可以极大程度节省存储空间(取决于不同的数据特征)。本文将介绍新一代VNX数据块级重复数据删除的技术细节,更多关于新一代VNX的其他改进,请继续关注论坛文章!

最新!EMC新一代VNX中端存储介绍汇总贴

更多信息


功能概述:


     新一代VNX的数据块级消重技术使用8KB大小的数据块(chunk)作为判断和压缩的最小数据单元:

block_before_dedup.jpg


     第一份8KB的数据会被保留在Pool中,其他的则会被删除。含有重复数据chunkLUN会将地址指向到Pool中含有剩余那份数据的地址。

block_after_dedup.jpg


     如果有写操作进入因重复的数据块而被释放空间的地址,系统会将数据写入一个新的地址,而共享的重复数据指针将不再使用。系统会在下一个检查周期判断新写入的数据是否需要消重。

block_dedup_write.jpg



工作原理:


     VNX的数据块消重可以在每一个Pool上启用。如果需要对一个传统RAID group LUN启用消重,用户必须先将其迁移至存储池(storage pool)。一旦启用消重后,LUN会被迁移至消重容器(Deduplication Container)中。迁移完成后,LUN会变成Thin LUN。消重容器是Pool中的私有空间,目前最大支持到1PB。当Pool中第一个LUN启用消重时它被创建,当最后一个LUN被禁用消重后它会被删除。每一个存储池最多只能由一个消重容器。没有启用消重的LUN可以和启用了消重的LUN共存在同一个Pool中。

     VNX消重进程在后台运行,基于12小时的周期。同一时间每一个SP只能运行3个消重进程,如果SP上的消重进程超过3个,那就会按照轮询(round robin)的方式运行。。当一个消重进程允许运行时,它会检查Pool中是否已经有64GB的新或者更新过的数据。如果新数据不到64GB,这个进程就会继续等待12小时。如果新数据达到了64GB,这些数据会被分割成8KB的数据块(chunk)。基于这些chunk,会有专门的算法来判断是否存在重复的部分。


启用方法:


     Unisphere GUINavisphere CLINaviSecCLI)都可以在LUN上启用数据消重。图形界面上启用的方法如下,如果是NaviSecCLI,需要安装最新版的Navisphere CLI工具,相关命令参数是deduplication(显示消重信息)和lun -modify(启用或禁用消重)。


创建LUN时启用:

enable_block_dedup.jpg


创建后再启用:

enable_block_dedup_after_creation.jpg


同时选择多个LUN再启用:

enable_block_dedup_multiple.jpg



限制和性能影响


     数据块消重时在后台运行,以避免对SP 整体性能的影响。不过同一时间一个SP只有3个消重进程在运行,因此如果急于要对多个LUN进行消重时,注意这些LUNSP上的分布。启用了消重的LUN的读性能和Thin LUN一样,写性能由于会有一些额外的消耗,因此和VNX Snapshots类似。根据性能需求,用户可以在Pool或者整个阵列上暂停消重功能。如果需要调整消重的进度,用户还可以设置高、中(默认等级)、低3种不同的消重速率(Deduplication rate):

disable_block_dedup_rate.jpg


     EMC建议在使用数据消重时同时启用FAST CacheFAST VP以最大化这些功能的效果。数据被消重后,由于只需跟踪和迁移更少的数据,FAST VP的效率变得更高。同时,下层Pool中实际的数据变得更少,因此FAST Cache可以有更多的空间贮存其他数据。


应用场景:


     很显然,数据消重最适合那些存储环境中含有大量重复数据的场景。最普遍的应用场景包括:

         虚拟桌面和虚拟服务器 — 虚拟化环境都含有大量的通用基础镜像,这些基础镜像在被调用时,其上很多文件都是不会改变的,因此特别适合数据消重。

         拥有大量数据的环境 — 如果用户需要创建许多相同内容的数据集以供备份、测试和开发的需要,那么这样的环境也适合启用数据消重。

参考


EMC技术白皮书

VNX Deduplication and Compression

应用于


VNX系列(VNX5400VNX5600VNX5800VNX7600VNX8000

-------------------------------------------------------

更多资源下载,请关注的我共享主页,所有工具免费下载使用:

http://xiaoshanqingqing.pipipan.com

http://www.pipipan.com/u/1899168

重复数据删除技术(Data Deduplication)

我相信所有人都会同意,数据存储正在以飞快地,甚至是令人震惊的速度在增长。 这意味着为了不影响普通用户的正常使用,存储管理员们不得不加班加点地在幕后 工作着。他们的鲜为人知的工作包括:配额管理,快照(s...
  • hit_kongquan
  • hit_kongquan
  • 2011年07月22日 23:50
  • 2069

数据库中删除表中重复数据的一点心得

在一个表中有一个自动增长列c1,同时又有两个外健列分别指向另外两个标的主键c2,c3,突然有一天我想让c2与c3组合为一个唯一键,这个时候先必须删除关于c2与c3的重复键(因为c1不可能重复),这就是...
  • tz_xiong
  • tz_xiong
  • 2007年10月26日 01:27
  • 3909

MongoDB 清除重复数据

创建唯一索引并删除重复的数据 coll.ensureIndex({productid:1}) // 在productid上建立普通索引 coll.ensureIndex({district:1, pl...
  • djd1234567
  • djd1234567
  • 2015年08月22日 15:34
  • 1858

深入理解数据压缩与重复数据删除

原文地址:http://blog.csdn.net/liuaigui/article/details/6324133 [导读] 数据压缩与重复数据删除两种技术有何区别与联系呢?实际中又该如何正确应...
  • x_i_y_u_e
  • x_i_y_u_e
  • 2015年01月29日 11:35
  • 1466

在 Win10 上安装重复数据删除

在 Win10 上安装重复数据删除一、Win10 的版本 到目前为止,Win10 有三个大的版本,即原始版、1511 版和1607 版本,分别对应的版本号:10.0.10240、10.0.10586...
  • hadstj
  • hadstj
  • 2017年01月03日 22:33
  • 1461

重复数据删除和压缩处理

重复数据删除和压缩处 新版本将数据保存在HCP上,它在这里可以得到安全地保护,而不是被发布到BYOD设备中。   用户们可以将文件保存到他们的HCP Anywhere文件夹中,然后那些文件就会...
  • gnicky
  • gnicky
  • 2013年05月25日 11:29
  • 710

MySQL中删除重复数据只保留一条

用SQL语句,删除掉重复项只保留一条在几千条记录里,存在着些相同的记录,如何能用SQL语句,删除掉重复的呢 1、查找表中多余的重复记录,重复记录是根据单个字段(peopleId)来判断 SELECT...
  • u014723529
  • u014723529
  • 2016年04月22日 11:27
  • 46601

mysql 删除单表内多个字段重复的数据

遇到个问题,一个表内两个字段应该加上unique约束,但没加导致出现重复数据,网上找到一条sql可以删掉重复数据,原sql是这样的: DELETE from test WHERE (mid,uid)...
  • lingyou37
  • lingyou37
  • 2014年01月06日 09:45
  • 4174

删除掉mysql数据库某张表中完全重复数据的方法

需要处理的表大概包含400万条数据,首次运行php代码之后发现完全重复的数据有很多,原因可能是导入时重复导入某张表(当时一起导入超过30份数据到同一个表可能出错),也有可能拿到的数据中存在重复数据,因...
  • liujl6
  • liujl6
  • 2014年12月27日 00:28
  • 1801

如何删除mysql数据库的重复数据

我的做法: 1 首先利用sql查到你所需要的不重复的数据 select *, count(distinct title) from cms_article group by title 2 然...
  • wu2374633583
  • wu2374633583
  • 2018年01月04日 12:30
  • 127
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:新一代VNX软件架构 - 数据块级重复数据删除
举报原因:
原因补充:

(最多只允许输入30个字)