docker推拉时的数据交换详解

前言

docker用了这么久了, 有没有想过, 在执行docker push 和 docker pull命令的时候, 数据是如何传递的呢? 换句话说, 如果要实现一个镜像仓库, 针对推拉的服务, 如何实现接口呢?

根据OCI 分发规范文档 的描述, 已经对整个推拉过程中要调用的接口有描述了. 但是, 纸上学来终觉浅, 我还是决定针对harbor仓库进行推拉操作的抓包, 看看实际上接口调用是怎样的.

以下所有抓包, 均为本地搭建的 harbor仓库(在实现上可能与OCI 略有差异).

pull

执行命令: docker pull hub.hujingnb.com:8090/library/alpine:2.6

抓包结果如下(层在本地没有, 需要下载):

根据OCI文档对流程进行说明(第1个请求用于建立连接, 跳过):

METHOD	接口	说明	OCI 对应
GET	/v2	尝试获取仓库的API 版本. 此接口在响应头中标记了获取权限的地址: Www-Authenticate Bearer realm="http://hub.hujingnb.com:8090/service/token",service="harbor-registry"
GET	/service/token	根据上一步提供的地址, 获取访问令牌
HEAD	/v2/library/alpine/manifests/2.6	从这一步开始拉取镜像. 检查镜像是否存在, 若不存在返回状态码404. 若存在, 同时将镜像的哈希返回到响应头中: Docker-Content-Digest sha256:5c4217c00be9ecba7735157998a4ac0475b5381c8c885396baa6f798f7f839db	/v2/<name>/manifests/<reference>
GET	/v2/library/alpine/manifests/sha256:5c42…	获取镜像的manifests信息	/v2/<name>/manifests/<reference>
GET	/v2/library/alpine/blobs/sha256:c954…	根据上一步拿到的镜像结果, 下载各个层信息 (在这一步会校验, 若层在本地已经存在, 则跳过下载)	/v2/<name>/blobs/<digest>

通过以上接口调用, 就已经拿到了一个镜像的所有信息.

push

执行命令: docker push hub.hujingnb.com:8090/library/alpine:3.1

抓包结果:

根据OCI文档对流程进行说明(第1个请求用于建立连接, 跳过):

METHOD	接口	说明	OCI 对应
GET	/v2	同上
GET	/service/token	同上
HEAD	/v2/library/alpine/blobs/sha256:0f25…	判断层是否存在. 若在远端不存在, 则返回404	/v2/<name>/blobs/<digest>
POST	/v2/library/alpine/blobs/uploads/	开始一次层上传. 响应202成功, 在响应头的Location字段标明上传地址	/v2/<name>/blobs/uploads
PATCH	/v2/library/alpine/blobs/uploads/6c82…	使用上一步返回的Location地址执行上传任务, 分片上传	/v2/<name>/blobs/uploads/<reference>
PUT	/v2/library/alpine/blobs/uploads/6c82…	标识本次上传完毕	/v2/<name>/blobs/uploads/<reference>
HEAD	/v2/library/alpine/blobs/sha256:0f25…	在层上传完毕后, 再次调用接口检查是否上传成功. 返回200说明存在	/v2/<name>/blobs/<digest>
…	…	重复操作上传所有层
PUT	/v2/library/alpine/manifests/3.1	所有层上传完毕, 推送镜像manifests信息	/v2/<name>/manifests/<reference>

以上, 一个镜像就成功的推送到镜像仓库了. 推送基本上就是把pull的操作反过来.

其他

更具体的, 可以查看OCI 分发规范, 拢共也没多少, 可以通读一遍. 在这个位置 定义了一些接口规范, 可以看一下.

对于仓库的实现, 可以查看harbor 源码, 也可以查看distribution 来了解其实现.

其实整个看下来, 倒也不觉得神秘了, 无非就是一些数据的上传, 全部使用HTTP协议, 散会