ZFS与数据去重

最新推荐文章于 2024-06-09 09:54:41 发布
最新推荐文章于 2024-06-09 09:54:41 发布
阅读量2.4k 收藏 1
点赞数 1
分类专栏： 新技术
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/itech_001/article/details/8714080
版权
本文介绍了ZFS的块级别去重技术，该技术采用SHA256计算hash签名，实现同步去重，适合高性能CPU和多线程操作系统。ZFS去重可以通过设置开启或关闭，根据数据类型选择性启用能有效节约空间并提升性能。同时，文章讨论了hash选择、验证选项以及扩展性和效率问题。
摘要由CSDN通过智能技术生成
http://hub.opensolaris.org/bin/view/Community+Group+zfs/WebHome

 

ZFS与数据去重
什么是Deduplication?
Deduplication是消除重复数据的过程。去重过程可以基于file-level文件级，block-level块级或者byte-level字节级。使用非常高可能性的hash算法来唯一标识数据块（文件，块，字节）。当使用安全hash，例如SHA256时，hash碰撞的可能性为2的256次方，2\^256 = 10\67 或者表示为 0.00000000000000000000000000000000000000000000000000000000000000000000000000001。

选择哪个等级的去重，files,blocks,bytes?
数据可以在文件级，块级，字节级被去重。

文件级的去重对文件作为整体来计算hash签名，如果处理的是自然的文件，则此方法需要
最低0.47元/天 解锁文章
itech_001
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Linux学习之文件系统zfs文件系统
马哥私房菜
02-19 9379
ZFS（Zettabyte File System）一个打破过去思维的文件系统，是 Sun Microsystems这家公司所开发出来的全新型态文件系统，因为License的问题所以目前只有在Solaris、Mac、BSD上看得到，ZFS是128bit的文件系统，而它到底有多强呢？别再等待了马上用了你就知道，只能说ZFS真是一个上帝赐给IT人员的好礼物。 ...
项目开发 -- ZFS容量分配
weixin_30500663的博客
07-16 193
存储池 allocated 池中已实际分配的存储空间量。该属性也可通过其简短列名alloc来引用。 capacity 已用的池空间百分比。此属性也可通过其简短列名cap来引用。 dedupratio 为池指定的重复数据删除比率，用乘数因子表示。 该值用一个十进制数表示。例如，dedupratio值1.76表示存储了1.76个单位的数据，但实际消耗的磁盘空间只有1个单位。该属性也可通过...
探秘高效数据去重利器——dduper
最新发布
gitblog_00054的博客
06-09 287
探秘高效数据去重利器——dduper 项目地址:https://gitcode.com/Lakshmipathi/dduper 在数字化时代，数据存储量的爆炸式增长使得数据重复问题日益突出。为了解决这一难题，我们为您推荐一个开源神器——dduper，这是一款专为BTRFS文件系统设计的块级离线去重工具，以卓越的性能和简洁的操作流程，让您轻松管理海量数据。 项目介绍 dduper利用BTRFS内置的...
ZFS学习和使用
黑客三遍猪
08-18 3006
作者 QQ群：852283276 微信：arm80x86 微信公众号：青儿创客基地 B站：主页 https://space.bilibili.com/208826118 参考 github openzfs 初学者指南：ZFS 是什么，为什么要使用 ZFS？ | Linux 中国 wiki openzfs 安装 META文件记录的支持的内核版本号，3.10~5.9， Meta: 1 Name: zfs Branch: 1.0 Version:
关于ZFS 的重复消除功能
weixin_34283445的博客
03-22 1507
最近有网友问起NextenaStor 的重复数据删除功能的实现机制，其实这个是使用了Zettabyte File System（ZFS）内置的重复数据删除功能。 文件级重复数据删除对处理能力的要求最低，但是也是效率最低的方法。数据块级重复数据删除要求更多的处理能力，据说这种方法适用于虚拟机镜像。 字节排列重复数据删除使用的处理能力最多，是删除可能重复且在数据块级...
linux 最大重复数量,linux – 目前我的ZFS重复数据删除表有多大？
weixin_39916511的博客
05-16 192
您可以使用zpool status -D poolname命令.输出看起来类似于：root@san1:/volumes# zpool status -D vol1pool: vol1state: ONLINEscan: scrub repaired 0 in 4h38m with 0 errors on Sun Mar 24 13:16:12 2013DDT entries 2459286,siz...
zfs-0.8.4 zfs zfs-0.8.4安装包
06-03
例如，在企业级环境中，ZFS的快照功能可以轻松实现定期备份，而其高效的压缩和 deduplication（去重）特性则可以帮助节省存储空间。 总结来说，ZFS 0.8.4版是一个高效且可靠的文件系统，提供了丰富的数据管理工具和...
backup_external_ZFS_
09-29
除了上述基本操作，ZFS还提供了高级特性，如数据去重（deduplication）、压缩（compression）和自动精简分配（thin provisioning），可以根据需求优化存储效率。然而，对于简单的外部备份需求，上述步骤已经足够提供...
zfs_linux.pdf.tar.gz_ZFS_linux file system
09-20
同时，它还支持数据去重，对于包含大量重复内容的环境，可以显著提升存储效率。 8. **性能优化**：ZFS有内置的缓存层，包括L2ARC（Level 2 Adaptive Replacement Cache）和ZIL（ZFS Intent Log），它们可以显著提高...
oracle solaris ZFS文件系统
03-31
- **ZFS 重复数据删除属性**：增加了一个新的属性来支持数据去重功能，从而节省存储空间。 #### 三、什么是 Oracle Solaris ZFS？ Oracle Solaris ZFS 是一种结合了文件系统和卷管理器的创新技术，主要特点包括： -...
卷级重复数据删除技术 Ⅲ
Capricorn
09-28 103
位图合并方案与概要设计
ZFS deduplicate
weixin_33859504的博客
04-05 421
前一篇BLOG介绍了ZFS的压缩特性, 本文将介绍一下ZFS的另一个特性deduplicate, 同compress的目标差不多, 都是节约存储空间的. 但是deduplicate带来的副作用会比较明显, 同时deduplicate的数据不是atomic事务写入的, 可能导致数据损坏.一般不建议开启dedup.Further, deduplicated...
ZFS文件系统将内置Deduplication
justinyun
11-03 633
 Sun的ZFS文件系统将内置Deduplication功能，利用哈希函数清理重复的数据块，从而大幅减小数据占用的空间。 Deduplication是消除数据副本的程序，它将使用安全的哈希算法如SHA256去检查文件级别、块级别、比特级别的数据唯一性，SHA256发生哈希碰撞的可能性为2^-256，比ECC内存出错的概率低了50个数量级。在使用Deduplication后，当你储存现有数据的另一个
ZFS DEDUPLICATION看起来很美的数据免重复存储技术
weixin_34192993的博客
02-06 344
数据免重复存储技术对内存要求非常高。分两种情况来考量：1. 对存储性能要求不高，可以按每TB数据对应5G内存或SSD来配置。2, 关键应用，按每TB 30G内存来配置，才能满足。这样看来，DEDUPLICATION只是看起来很美，考虑清楚再用。 转载于:https://blog.51cto.com/powerz/1132503...
批量去重大数据文件
sinat_26566137的博客
04-25 1121
作为一个linux的学徒，分享一下自己解决这个小问题的心得，在处理这个问题时使用了一个小技巧感觉很适用，个人发觉linux的终端真滴是非常强大，下面就详细地介绍这个问题以及解决办法吧 问题描述：由于要分析登录Ip所以有很多放有不同Ip的日志文件，首先要将所有log文件合并成一个log文件，并将每一个Ip最后一位修改为0，如，原IP为127.0.0.1，现Ip为127.0.0.0 解决方法：使用...
test zfs dedup vs compress which suit in your environment
weixin_34267123的博客
04-05 218
你的数据适合压缩还是适合开启去重? 这个可以拿到你的数据进行评估, 在一个已有使用zdb -S zpname进行评估, 然后使用zdb -DD产生一个报告. 例如 : 对zp1 pool的数据块, 采样评估 [root@db- ~]# zdb -S zp1 ^C 报告deduplicate table [root@db- ~]# zdb -DD zp...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值