docker中各ID之间的关系和计算(二)-layerID-diffID-chainID-cacheID的计算

第一步：

首先我们先拉取镜像：

# docker pull ubuntu:latest

Using default tag: latest

latest: Pulling from library/ubuntu

345e3491a907: Pull complete

57671312ef6f: Pull complete

5e9250ddb7d0: Pull complete

Digest: sha256:adf73ca014822ad8237623d388cedf4d5346aa72c270c5acc01431cc93e18e2d

Status: Downloaded newer image for ubuntu:latest

docker.io/library/ubuntu:latest

这里的345e3491a907，57671312ef6f，5e9250ddb7d0为压缩的layer层的哈希值这些值为layerID，即distribution hashes，他们从远程的repository拉取下来。

第二步：

查看镜像的详细信息：

# docker inspect ubuntu:latest

其中有一个rootfs的键值对，如下：

  "RootFS": {

            "Type": "layers",

            "Layers": ["sha256:ccdbb80308cc5ef43b605ac28fac29c6a597f89f5a169bbedbb8dec29c987439",                "sha256:63c99163f47292f80f9d24c5b475751dbad6dc795596e935c5c7f1c73dc08107",                "sha256:2f140462f3bcf8cf3752461e27dfd4b3531f266fa10cda716166bd3a78a19103"

            ]

        },

这是镜像的底层的rootfs，但是我们发现这些sha256值和第一步拉取下来的层layerID不一致。这是为什么呢？

因为pull下来的是压缩的数据，layerID是压缩数据的sha256的值(Layer ID指Distribution根据layer compressed data计算的)，而inspect rootfs中的值是解压后，对解压的内容进行sha256的值他们是diffID，是在本地由Docker根据layer uncompressed data计算的。

记住这里的rootfs layers的值是diffID。

第三步：

那么从远程拉取下来的layerID和解压后的diffID是如何一一对应的呢？

# ls /var/lib/docker/image/overlay2/distribution/

diffid-by-digest  v2metadata-by-diffid

其中diffid-by-digest保存了digest(layerID)->diffID的映射关系，即distribution hashes和Content hashes的映射关系。也即是正向查询。

v2metadata-by-diffid保存了diffid -> (digest,repository)的映射关系，这可以方便查找layer的digest及其所属的repository。也即是反向查询，可以从diffID->layerID（其实就是digest）。

# cd /var/lib/docker/image/overlay2/distribution/diffid-by-digest/sha256

# cat <layerID>

<diffID> //得到 相对应的diffID

# cd /var/lib/docker/image/overlay2/distribution/v2metadata-by-diffid/sha256

# cat <diffID>

[{"Digest":"sha256:345e3491a907bb7c6f1bdddcf4a94284b8b6ddd77eb7d93f09432b17b20f2bbe","SourceRepository":"docker.io/library/ubuntu","HMAC":""}]    // 得到相应的layerID和库相关信息。

 

第四步：

从diffID组成chainID：

layer.ChainID只用本地，根据layer.DiffID计算，并用于layerdb的目录名称。

chainID唯一标识了一组（像糖葫芦一样的串的底层）diffID的hash值，包含了这一层和它的父层(底层)，当然这个糖葫芦可以有一颗山楂，也就是chainID(layer0)==diffID(layer0)；对于多颗山楂的糖葫芦，ChainID(layerN) = SHA256hex(ChainID(layerN-1) + " " + DiffID(layerN))

#cd /var/lib/docker/image/overlay2/layerdb/sha256

这个sha256目录中保存了所有的chainID，在第二步对镜像的inspect中，

["sha256:ccdbb80308cc5ef43b605ac28fac29c6a597f89f5a169bbedbb8dec29c987439",                "sha256:63c99163f47292f80f9d24c5b475751dbad6dc795596e935c5c7f1c73dc08107",                "sha256:2f140462f3bcf8cf3752461e27dfd4b3531f266fa10cda716166bd3a78a19103"]

三个diffID，第一个是最底层的ccdbb80308cc5ef43b605ac28fac29c6a597f89f5a169bbedbb8dec29c987439，所以diffID(layer0)==chainID(layer0),

然后这个文件夹中包含了diff、cache-id等，最主要的是

Diff文件保存了这个层的diffID.

cache-id为具体/var/lib/docker/overlay2/<cache-id>存储路径。

另外两个chainID如何计算呢？

除了底层的layer层，还有一些高层的layer，他们的chainID文件夹中包含了parent文件，这个是值为ChainID(layerN-1)，diff文件存储了DiffID(layerN)，而文件夹也就是ChainID(layerN) = SHA256hex(ChainID(layerN-1) + " " + DiffID(layerN))

#echo -n "sha256:ccdbb80308cc5ef43b605ac28fac29c6a597f89f5a169bbedbb8dec29c987439 sha256:63c99163f47292f80f9d24c5b475751dbad6dc795596e935c5c7f1c73dc08107" | sha256sum | awk '{print $1}'

一定注意要加上 “sha256:”和中间的空格“ ”这两个字符，否则计算就错误了。

得出中间层chainID它也包括自己diff、parent、cache-id等：8d8dceacec7085abcab1f93ac1128765bc6cf0caac334c821e01546bd96eb741

再计算最后的chainID：

#echo -n "sha256:8d8dceacec7085abcab1f93ac1128765bc6cf0caac334c821e01546bd96eb741 sha256:2f140462f3bcf8cf3752461e27dfd4b3531f266fa10cda716166bd3a78a19103" | sha256sum | awk '{print $1}'

得出最后的值为：

3dd8c8d4fd5b59d543c8f75a67cdfaab30aef5a6d99aea3fe74d8cc69d4e7bf2

第五步：

最后从chainID->cacheID

通过上一步计算找到当前最顶层的chainID：

/var/lib/docker/image/overlay2/layerdb/sha256/保存了chianID信息，目录名称为chainID

这个目录下的cache-id、diff、parent

通过这个chain生成一个cache-id

diff保存当前layer的diff ID

parent保存上一层layer的chainID

# cd 3dd8c8d4fd5b59d543c8f75a67cdfaab30aef5a6d99aea3fe74d8cc69d4e7bf2

# cat cache-id

ddd5760e7cbfde67e325e77b540dfc13e7dccf1c7d1b156554d0a79378642bd1

第六步：

从cache-id得到最终的磁盘文件：

在/var/lib/docker/overlay2/

# cd /var/lib/docker/overlay2/<cache-id>

得到当前的内容。

完结。

 

总结：

Overlay2比overlay更加高效，因为overlay2优化了inode的利用。

layerID -> diffID -> chainID -> cacheID

layerID和diffID的对应关系在diffid-by-digest和v2metadata-by-diffid

chainID主要存在于/var/lib/docker/image/overlay2/layerdb/sha256/<chain-id>，

cacheID主要存在于/var/lib/docker/overlay2/<cache-id>

 

如果觉得本文很棒，请作者喝杯咖啡吧，加油哦！！！