blobfs中的默克尔树应用

 

1.Merkle Tree概念

 

Merkle Tree，通常也被称作Hash Tree，顾名思义，就是存储hash值的一棵树。Merkle树的叶子是数据块(例如，文件或者文件的集合)的hash值。非叶节点是其对应子节点串联字符串的hash。

1.1、Hash

Hash是一个把任意长度的数据映射成固定长度数据的函数。例如，对于数据完整性校验，最简单的方法是对整个数据做Hash运算得到固定长度的Hash值，然后把得到的Hash值公布在网上，这样用户下载到数据之后，对数据再次进行Hash运算，比较运算结果和网上公布的Hash值进行比较，如果两个Hash值相等，说明下载的数据没有损坏。可以这样做是因为输入数据的稍微改变就会引起Hash运算结果的面目全非，而且根据Hash值反推原始输入数据的特征是困难的。

 

1.2、Hash List

在点对点网络中作数据传输的时候，会同时从多个机器上下载数据，而且很多机器可以认为是不稳定或者不可信的。为了校验数据的完整性，更好的办法是把大的文件分割成小的数据块（例如，把分割成2K为单位的数据块）。这样的好处是，如果小块数据在传输过程中损坏了，那么只要重新下载这一快数据就行了，不用重新下载整个文件。

怎么确定小的数据块没有损坏哪？只需要为每个数据块做Hash。BT下载的时候，在下载到真正数据之前，我们会先下载一个Hash列表。那么问题又来了，怎么确定这个Hash列表本身是正确的哪？答案是把每个小块数据的Hash值拼到一起，然后对这个长字符串在作一次Hash运算，这样就得到Hash列表的根Hash(Top Hash or Root Hash)。下载数据的时候，首先从可信的数据源得到正确的根Hash，就可以用它来校验Hash列表了，然后通过校验后的Hash列表校验数据块。

 

1.3、 Merkle Tree

Merkle Tree可以看做Hash List的泛化（Hash List可以看作一种特殊的Merkle Tree，即树高为2的多叉Merkle Tree）。

在最底层，和哈希列表一样，我们把数据分成小的数据块，有相应地哈希和它对应。但是往上走，并不是直接去运算根哈希，而是把相邻的两个哈希合并成一个字符串，然后运算这个字符串的哈希，这样每两个哈希就结婚生子，得到了一个”子哈希“。如果最底层的哈希总数是单数，那到最后必然出现一个单身哈希，这种情况就直接对它进行哈希运算，所以也能得到它的子哈希。于是往上推，依然是一样的方式，可以得到数目更少的新一级哈希，最终必然形成一棵倒挂的树，到了树根的这个位置，这一代就剩下一个根哈希了，我们把它叫做 Merkle Root。

在p2p网络下载网络之前，先从可信的源获得文件的Merkle Tree树根。一旦获得了树根，就可以从其他从不可信的源获取Merkle tree。通过可信的树根来检查接受到的Merkle Tree。如果Merkle Tree是损坏的或者虚假的，就从其他源获得另一个Merkle Tree，直到获得一个与可信树根匹配的Merkle Tree。

Merkle Tree和Hash List的主要区别是，可以直接下载并立即验证Merkle Tree的一个分支。因为可以将文件切分成小的数据块，这样如果有一块数据损坏，仅仅重新下载这个数据块就行了。如果文件非常大，那么Merkle tree和Hash list都可以做到，但是Merkle tree可以一次下载一个分支，然后立即验证这个分支，如果分支验证通过，就可以下载数据了。而Hash list只有下载整个hash list才能验证。

 

Merkle Tree的特点

• MT是一种树，大多数是二叉树，也可以多叉树，无论是几叉树，它都具有树结构的所有特点；
• Merkle Tree的叶子节点的value是数据集合的单元数据或者单元数据HASH。
• 非叶子节点的value是根据它下面所有的叶子节点值，然后按照Hash算法计算而得出的。

通常，加密的hash方法像SHA-2和MD5用来做hash。但如果仅仅防止数据不是蓄意的损坏或篡改，可以改用一些安全性低但效率高的校验和算法，如CRC。

2. Blobfs简介

Blobfs是一个简单，扁平的文件系统，针对“一次写入，然后只读”，即：Blobfs文件系统是一个只读的文件系统。它可以安装和卸载，它似乎包含一个哈希的平面目录，并且可以通过“open”，“read”，“stat”和“mmap”等操作访问blob。

/blob存放的是文件的哈希值，哈希值和文件名的对应关系由Pkgfs维护。

在host侧，Blobfs支持如下功能：

1. 在块设备上创建文件系统
2. 检查文件系统完整性
3. 增加文件到文件系统镜像

blobfs下有多个inode文件节点，一个inode文件节点对应一个文件（也即一个blob对象）。

3. Blobfs中的默克尔树应用

 

上图中已对关键数据结构及方法进行了说明。这里需要再补充说明一下，blobfs中的文件在host侧打包时会对其数据一致性进行sha256的hash校验，并将校验值存储起来（默克尔树），具体做法如下：

1.因为blobfs的一个block为8KB（即8192字节），所以sha256以一个block为单位生成一个256bit（即32bytes）hash校验值。--文件内容为level0

2.将1中生成的所有hash校验值顺序存储在文件数据的前面block中，再对生成的hash校验值以block为单位（不够的以0补齐）进行hash，将值依次存储在后面的block中 --这一级hash为level1

3.重复2 --这里会生成level2-leveln的hash树

4.最后一级hash只有一个值为hash root存储在超级块的inode信息中（即blobfs中的文件名）

 

以libc.so文件为例，其大小为687KB，即687/8=86(round up)block，由于一个block可以存储8192/32=256个hash值，86<256，所以libc.so数据文件的前面只需要增加1个block的hash值存储区，

下一级hash值就直接是hash root为文件名。这种场景下默克尔树高度为2。示意图如下：