基于内容可变长度分块Content Defined Chunking

最新推荐文章于 2025-03-17 13:43:29 发布
转载 最新推荐文章于 2025-03-17 13:43:29 发布 · 3.8k 阅读 · 6

本文介绍了内容定义分块(Content-Defined Chunking, CDC)技术，这是一种提高磁盘使用率和节省空间的方法。CDC属于可变分块技术，通过滑动窗口及哈希值匹配来确定数据块边界，即使文件部分更新，也能保持大部分块不变，从而提高重复数据的检测效率。

最近在研究开源网络云盘代码，发现他们在文件存储时用到一种文件切割复用的技术，能大大提高磁盘使用率，节省空间

在网上找了些这个技术（Content Defined Chunking）的一些说明。


基于内容可变长度分块

1，简介
重复数据块检测技术分为，固定分块检测技术(Fixed-Sized Partition, FSP)，可变分块检测技术(Variable-Sized Partition, VSP)，滑动块技术(Sliding Block)。
固定分块将数据流按固定的长度分块，实现很简单，但某一处数据的变化将导致之后的所有分块都发生变化，从而无法进行匹配。因此，固定分块技术在实际中应用较少。可变分块技术则可弥补固定分块技术的这一局限性，能更加灵活的找出重复数据。基于内容可变长度分块(Content-Defined Chunking, CDC)是可变分块(Variable-Sized Partition, VSP)的一种。

2，理论基础
CDC的理论基础是rabin fingerprint，请参照Michael O. Rabin的Fingerprinting by Random Polynomials. 

3，具体实现
文件被分为长度可变的数据块,数据块的长度在一个规定的最小值和最大值之间。可变长度的数据块用一个滑动窗口来划分,当滑动窗口的 hash 值与一个基准值相匹配时就创建一个分块,这样数据块的尺寸就可达到一个期望的分布。Rabin’s fingerprint 预先定义两个整数 D 和 r(r<D) 一个大小为 w 的固定窗口在文件上滑动。假如在位置 k,固定窗口内数据的 hash 值为 f，如果f mod D = r,则该位置为数据块的一个边界。重复这个过程,直至整个文件都被分块。



实现起来也不是很复杂，但需要对每一次滑动都计算依次窗口内的hash值，计算量增加。另外，如果选择的D和r不合适，会导致窗口过小(很容易匹配上)或过大(很难匹配上)

4，与固定分块技术的对比
现在有一串数据D0：(ABCDEFGHIJKLMNOP)，以固定分块为(ABCD | EFGH | IJKL | MNOP )，假如中间某部分数据发生了变化，数据变为D1：(ABCDEF22GHIJKLMNOP)，那么固定分块为(ABCD | EF22 | GHIJ | KLMN | OP)，除了第一块，其他所有的块都无法完成匹配。
如果采用CDC，假设初始分块也是(ABCD | EFGH | IJKL | MNOP)，那么意味着在D, H, L这三个窗口内，是符合fmodD=r的条件的，当数据发生改变时，由于DHL这三个窗口并未发生改变，他们依然被认定为边界，那么分块有可能变成(ABCD | EF22GH | IJKL | MNOP)，这样，除了发生改变的第二个块不能完成匹配外，其他三个数据块的匹配不会收到影响。

CDC其实早已应用广泛，其最早是用在低带宽环境的数据传输与同步，如rsync即使用CDC技术，来检测本次备份与上次备份之间的差异，从而达到只传递差异部分的目的。

参考文献
1，低带宽环境下基于混合方法的文件复制算法*
徐旦 1+, 生拥宏 2, 鞠大鹏 2 ,吴建平 1,汪东升 2,3
2，Michael O. Rabin Fingerprinting by Random Polynomials. 
3，基于Rabin指紋方法的URL去重算法


转自: http://blog.chinaunix.net/uid-25871104-id-3084904.html

RuntimeError: Internal: [MASK] is already defined解决方案
weixin_43178406的博客
04-26 7万+
本文主要介绍了RuntimeError: Internal: [MASK] is already defined解决方案，希望能对使用ChatGLM的同学有所帮助。 文章目录 1. 问题描述 2. 解决方案
《Python基础教程》内容总览篇（持续更新中）
热门推荐
weixin_43178406的博客
08-26 31万+
大家好，我是爱编程的喵喵。双985硕士毕业，现担任全栈工程师一职，热衷于将数据思维应用到工作与生活中。从事机器学习以及相关的前后端开发工作。曾在阿里云、科大讯飞、CCF等比赛获得多次Top名次。现为CSDN博客专家、人工智能领域优质创作者。喜欢通过博客创作的方式对所学的知识进行总结与归纳，不仅形成深入且独到的理解，而且能够帮助新手快速入门。个人精心开设的《Python基础课程》专栏订阅量接近900，帮助不少同学解决了Bug。
Go-ContentDefinedChunking(CDC)中Go中的实现
08-14
Content Defined Chunking (CDC)中Go中的实现
基于内容可变长度分块(CDC)
IT_YUAN的专栏
05-29 3079
基于内容可变长度分块 1，简介 重复数据块检测技术分为，固定分块检测技术(Fixed-Sized Partition, FSP)，可变分块检测技术(Variable-Sized Partition, VSP)，滑动块技术(Sliding Block)。 固定分块将数据流按固定的长度分块，实现很简单，但某一处数据的变化将导致之后的所有分块都发生变化，从而无法进行匹配。因此，固定分块技术
Note: Bimodal Content Defined Chunking for Backup Streams
weixin_30389003的博客
11-06 205
CDC算法给出了一个chunk的大小的最小值、最大值、平均值的界定。 Method Using chunk existence information breaking-apart algorithm 将所有内容全部划分为较大的chunk，然后识别新内容的变化区域，然后在这个变化区域的附近重新划分较小的chunk。重复进行数据重删。 building-up algorithm 在开始时...
【山大智云】SeafileServer源码分析之CDC（基于内容长度可变分块）
cyk0620的博客
10-17 1012
2021SC@SDUSC 基于内容长度可变分块 滚动哈希与拉宾指纹 滚动哈希 考虑解决字符串匹配问题。一种方法是利用字符串哈希值进行匹配。已知模式串长度为nnn，那么我们可以依次截取匹配串中长为nnn的子串计算哈希，然后与模式串的哈希进行比对，若相等则得到一次匹配。在极大概率下，哈希碰撞到的子串与模式串相同。 然后用算法实现。在已经计算过si…i+n\small s_{i\dots i+n}si…i+n​哈希的前提下，如果要计算si+1…i+n+1\small s_{i+1\dots i+n+1}si+1…
Go中内容定义块（CDC）的实现-Golang开发
05-26
打包分块器基于滚动的Rabin Hash实现内容定义的分块（CDC）。 该库是Restic备份程序的一部分。 有关内容定义的块的介绍，请参见restic博客文章Foundation-程序包分块器基于滚动的Rabin Hash实现内容定义的块（CDC）。 该库是Restic备份程序的一部分。 有关内容定义的块的简介，请参见Restic博客文章《基础-内容定义的块（CDC）简介》。 您可以在以下网址找到API文档：https：//godoc.org/github.com/restic/chunker
基于内容分块（CDC）的重删算法详解：原理、实现与优化
最新发布
weixin_44727517的博客
03-17 1313
CDC算法通过将数据智能分块，在存储效率与计算开销之间取得了优雅的平衡。随着存储介质的发展（如QLC SSD的普及）和计算能力的提升（GPU加速），CDC技术正在向更细粒度分块、智能学习分块策略的方向演进。理解CDC的工作原理，对于设计高效存储系统具有重要意义。
NameError: name ‘gr‘ is not defined解决方案
weixin_43178406的博客
04-28 6万+
本文主要介绍了NameError: name ‘gr’ is not defined解决方案，希望能对使用gradio的同学们有所帮助。 文章目录 1. 问题描述 2. 解决方案
错误解决：declared ‘static‘ but never defined
CodeAllen嵌入式
08-22 4万+
解决的办法很简单，将头文件中的声明转移到.c文件中就可以了，即将函数delay的声明从uart.h移动到uart.c文件的开始就可以了。声明为static的函数不能被其他文件所使用，如果其他文件include uart.h。那么就会报上面的错误。
Go中FastCDC分块算法的实现，该算法支持以流方式处理数据-Golang开发
05-26
该程序包实现了FastCDC内容定义的分块算法FastCDC该程序包实现了基于齿轮滚动哈希的FastCDC内容定义的分块算法，并实现了Wen Xia等人提出的优化。 在其2016年的论文FastCDC：一种快速高效的内容定义的重复数据删除分块方法中。 安装：go get -u github.com/tigerwill90/fastcdc目标对于另一个项目，我需要“即时”对通过grpc从插件提供的文件流进行重复数据删除。 我努力地用这个capab找到一个chunker包
文本分段Chunking综述-RAG
大数据，大模型，服务器，技术、架构，方案
10-29 3108
即便大模型开始普通支持更大的上下文，但 RAG 技术目前仍然具有不可替代的价值，RAG 需要外部知识库。外部知识文档往往比较长，可能是包含几十页甚至数百页的内容，如果直接使用会存在以下问题： 所以我们需要根据一定策略将文本切分为小块，以便适应大模型的上下文窗口，同时提高知识检索的精度。将大文档分割成较小的分块是一项关键而复杂的任务，对 RAG 系统的性能有着重大的影响。一般地，RAG 系统旨在通过将基于检索的方法和基于生成的方法相结合，提高产出的质量和相关性。文本分块（chunk）最核心的目的就是把相同语义
分块方式
周健华的专栏
05-27 2425
不同的分块方式处理基于内容的分块 /* * content-defined chunking:基于内容的分块 * 1. BLOCK_MIN_SIZE <= block_size <= BLOCK_MAX_SIZE * 2. hash(block) % d == r */ static int file_chunk_cdc(int fd, int fd_ldata, int fd_bdata,
文件数据块分块算法解析
chenglinhust的专栏
04-09 6264
文件数据块分块算法解析 1. 简介        存储系统的重复数据删除过程一般是这样的：首先将数据文件分割成一组数据块，为每个数据块计算指纹，然后以指纹为关键字进行Hash查找，匹配则表示该数据块为重复数据块，仅存储数据块索引号，否则则表示该数据块是一个新的唯一块，对数据块进行存储并创建相关元信息。这样，一个物理文件在存储系统就对应一个逻辑表示，由一组FP组成的元数据。当进行读取
算法数据结构——字符串匹配算法BF、RK
白话机器学习
06-04 560
Brute Force 算法：简称为 BF 算法。中文意思是暴力匹配算法，也可以叫做朴素匹配算法。BF 算法思想：对于给定文本串T与模式串p，从文本串的第一个字符开始与模式串p的第一个字符进行比较，如果相等，则继续逐个比较后续字符，否则从文本串T的第二个字符起重新和模式串p进行比较。依次类推，直到模式串p中每个字符依次与文本串T的一个连续子串相等，则模式匹配成功。否则模式匹配失败。Rabin Karp 算法：简称为 RK 算法。
扩展split方法
huaweitman的专栏
10-30 340
/** * 扩展split方法 * 支持分割字符为一个数组，遇到数组中任意一个字符就分割 * 分割数组长度固定为2,只分割第一个出现的字符 * * @param charList * @param inputStr * @return */ private String[] expandSplit(List<Character> charList, String inputStr) { inputStr = inputStr.trim(); String[] s.
文件相似性判断 -- 超级特征值（super feature）
博观约取
07-29 2894
基于内容的变长分块（CDC）技术，可以用来对文件进行变长分块，而后用来进行重复性检测，广泛用于去重系统中。后来又出现了对相似数据块进行delta压缩，进一步节省存储开销。所以就需要一种高效的相似性检测算法，在论文 WAN Optimized Replication of Backup Datasets Using Stream-Informed Delta Compression 提出的sup
数据去重-相似检测经典算法：N-Transform，Finesse，Odess代码python实现
weixin_43325935的博客
04-24 1126
Odess与N_Transform相比，仅仅多了一个采样的步骤（原文中还提到了Gear Hashing，我觉得其和Rabin Fingerprint区别不大 ，不会影响到DCR，可能性能上会有所影响。b. N_Transform 使用的是Rabin Fingerprint(滚动哈希)，Minhash则是多种线性变化（哈希函数）a. N_Transform 用于数据块层面，Minhash则不一定。代码里出现的rabin为自己实现的，如果有需要可以私信我。），文章中却写了一大堆证明公式，看的我云里雾里。
基于内容可变长度分块中，如何决定分块的边界
03-15
<think>好的，我现在要处理用户关于基于内容的可变长度分块（CDC）确定分块边界的问题。首先，我需要回忆CDC的基本概念和常见方法。根据引用[1]，CDC属于可变分块技术，用于解决固定分块因数据变化导致的连锁反应问题。用户想知道具体的边界确定策略或算法，所以需要详细解释这些方法。 首先想到的是滚动哈希法，比如Rabin指纹算法。这部分需要解释算法的工作原理，比如如何通过滑动窗口计算哈希值，并设置模数来确定断点。可能需要举例说明，比如当哈希值满足特定条件时分割块。这部分需要确保术语准确，比如模数T的选择，以及如何避免重复计算哈希值。 然后是内容特征法，比如使用字节模式或统计特征。例如，当检测到特定字节序列时分割，或者利用数据的熵变化。这部分需要结合实际应用场景，比如文本中的换行符或二进制文件中的结构变化。 接下来是双阈值法，结合固定大小和内容特征，避免块过大或过小。比如设置最小和最大块尺寸，当达到最大尺寸还未触发内容特征时强制分割。需要说明这种方法如何平衡灵活性和稳定性。 实现部分要分步骤，比如滑动窗口处理、哈希计算、断点检测、动态调整参数等。可能需要提到实际系统中的优化，比如并行处理或预计算。同时要引用相关的引用资料，比如引用[1]提到的CDC属于VSP，而引用[2]中的路径规划可能与分块策略在应用上的关联。 最后生成相关问题，需要涵盖算法比较、性能优化、应用场景等。例如，CDC与固定分块的优缺点，哈希算法的选择影响，动态调整参数的策略，以及在大数据中的应用。 需要确保回答结构清晰，使用中文，数学公式用$...$，独立公式用$$...$$。检查是否有遗漏的要点，比如是否提到其他算法如Buzhash，或者不同方法的优缺点比较。同时注意引用标记的正确位置，例如在讨论CDC时引用[^1]，在实现步骤提到路径规划时引用[^2]。 现在组织内容，确保逻辑连贯，技术细节准确，同时符合用户要求的格式和引用规范。</think>在基于内容的可变长度分块（Content-Defined Chunking, CDC）中，确定分块边界的核心策略是通过数据内容本身的特征动态划分块，而非固定长度。以下是主要方法与实现细节： --- ### **1. 分块边界的核心策略** #### **(1) 滚动哈希法（Rabin指纹算法）** - **原理**：对数据流滑动窗口内的内容计算哈希值，当哈希值满足特定条件（如模余为零）时，标记为分块边界。 - **数学形式**：设滑动窗口大小为$w$，哈希函数为$H$，模数为$T$，当满足 $$ H(data[i:i+w]) \mod T = 0 $$ 时，将位置$i$作为分块边界[^1]。 - **优势**：哈希值的均匀分布特性可保证分块长度近似符合预期，且对局部修改敏感度低。 #### **(2) 内容特征法** - **字节模式匹配**：通过检测特定字节序列（如换行符、文件头标识）作为边界。例如，文本数据可能以段落分隔符分块。 - **统计特征**：利用数据熵、频率分布等统计指标的变化点作为边界。例如，当数据局部熵显著变化时触发分块。 #### **(3) 双阈值法** - 结合固定范围与内容特征，设置最小和最大块尺寸（如4KB-64KB），若在最大尺寸内未触发内容特征，则强制在最大长度处分块。此方法平衡了灵活性与稳定性[^1]。 --- ### **2. 实现步骤** 1. **滑动窗口处理**：逐字节滑动窗口，计算当前窗口的哈希值。 2. **哈希匹配**：检查哈希值是否满足边界条件（如模余为零）。 3. **断点检测**：若匹配成功，记录当前位置为分块终点，并重置窗口。 4. **动态调整**：根据数据流特征动态调整模数$T$，以控制分块大小分布。 **示例代码（简化逻辑）**： ```python def find_boundaries(data, window_size=48, mod=256): boundaries = [] for i in range(len(data) - window_size + 1): window = data[i:i+window_size] hash_val = compute_rabin_hash(window) if hash_val % mod == 0: boundaries.append(i + window_size) return boundaries ``` --- ### **3. 关键优化** - **哈希算法选择**：Rabin指纹因计算高效且冲突率低，成为CDC的主流选择。 - **预计算加速**：通过增量计算避免重复哈希运算，例如每次滑动窗口时仅更新头尾差异部分。 - **自适应分块**：根据历史分块大小动态调整模数$T$，使块长更接近目标均值（如8KB）。 --- ### **4. 应用场景** - **去重存储系统**：如备份工具（如rsync）、分布式文件系统（如Ceph），通过CDC减少重复数据存储。 - **网络传输优化**：分块后仅传输差异块，提升增量同步效率。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值