0x00 概述
使用 Docker 时,最常用的命令无非是 docker container
和 docker image
相关的子命令,当然最初没有管理类命令(或者说分组)的时候,最常使用的命令也无非是 docker run
docker commit
docker build
和 docker images
这些。
今天来聊一下和 Docker 中核心概念 image
相关的重要命令, docker build
或者说 docker image build
为了简便起见,下文的命令全部使用 docker build
。
0x01 Docker Image
先简单介绍下 Docker Image, 通常情况下我们将其称之为镜像,镜像是由多个层组成的文件,这些层用于在容器内执行代码(命令)等。每个镜像基本上都是根据应用程序完整的可执行版本进行构建的,并且需要注意的是,它会依赖于主机的系统内核。当用户在运行镜像时,这将会创建一个或者多个容器实例。
0x02 Dockerd
Dockerd 是 Docker 的服务端,默认情况下提供 Unix Domain Socket 连接,当然也可以监听某个端口,用于对外提供服务。 所以有时候,我们也可以使用服务器上的 Docker daemon 来提供服务,以加快构建速度及解决一些网络问题之类的。
好的,基础概念了解了, 那我们开始进入正题。
0x03 使用 Dockerfile
我们知道构建镜像的方法有多种,本文中我们只介绍使用 Dockerfile 通过 docker build
的方式构建镜像。
为了简便,我们以一个简单的 Dockerfile 开始。构建一个容器内使用的 kubectl 工具 (当然选择它的原因在于 kubectl 足够大,并不考虑可用性,这个稍后解释)
FROM scratch LABEL maintainer='Jintao Zhang <moelove.info>' ADD kubectl /kubectl ENTRYPOINT [ "/kubectl" ]
Dockerfile 足够简单,只是将 kubectl 的二进制文件拷贝进去,并将 Entrypoint 设置为 kubectl 。
0x04 Dockerd in Docker
我个人一般为了避免环境的污染,大多数的事情都在容器内完成。包括 dockerd 我也启在容器内。其中的原理不再介绍,可以参考我之前的文章或分享。使用起来很简单:
docker run --privileged -d -P docker:stable-dind
注意这里使用了 -P
所以本地会随机映射一个端口,当然你也可以直接指定映射到容器内的 2375 端口。
(Tao) ➜ build git:(master) docker ps CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES b56f6483614d docker:stable-dind "dockerd-entrypoint.…" 9 hours ago Up 9 hours 0.0.0.0:32769->2375/tcp trusting_babbage
0x05 构建
我们直接使用启动在容器内的 dockerd 进行构建,通过上面的 docker ps
命令可以看到是映射到了本地的 32769 端口。所以我们使用以下命令进行构建:
(Tao) ➜ kubectl git:(master) docker -H 0.0.0.0:32769 images REPOSITORY TAG IMAGE ID CREATED SIZE (Tao) ➜ kubectl git:(master) docker -H 0.0.0.0:32769 build -t local/kubectl . Sending build context to Docker daemon 55.09MB Step 1/4 : FROM scratch ---> Step 2/4 : LABEL maintainer='Jintao Zhang <moelove.info>' ---> Running in ebcf44071bf0 Removing intermediate container ebcf44071bf0 ---> eb4ea1725ff2 Step 3/4 : ADD kubectl /kubectl ---> 1aad06c4dbb4 Step 4/4 : ENTRYPOINT [ "/kubectl" ] ---> Running in 2fc78fe974e3 Removing intermediate container 2fc78fe974e3 ---> 457802d4bf3e Successfully built 457802d4bf3e Successfully tagged local/kubectl:latest (Tao) ➜ kubectl git:(master) docker -H 0.0.0.0:32769 images REPOSITORY TAG IMAGE ID CREATED SIZE local/kubectl latest 457802d4bf3e 3 seconds ago 55.1MB
0x06 深入原理-Dockerd 服务
在本文一开始,我已经提过 Dockerd 是 Docker 的后端服务,通过上面的
docker -H 0.0.0.0:32769 images
这条命令可以看到我们通过 -H
指定了本地 32679 端口的 dockerd 服务,这其实是个 HTTP 服务,我们来验证下。
(Tao) ➜ kubectl git:(master) curl -i 0.0.0.0:32769/_ping HTTP/1.1 200 OK Api-Version: 1.37 Docker-Experimental: false Ostype: linux Server: Docker/18.03.1-ce (linux) Date: Tue, 04 Sep 2018 17:20:51 GMT Content-Length: 2 Content-Type: text/plain; charset=utf-8 OK%
可以看到几条关键的信息 Api-Version: 1.37 这个表明了当前使用的 API 版本,本文的内容也是以 1.37 为例进行介绍,这是当前的稳定版本。我们也可以通过 docker version
进行查看。
(Tao) ➜ kubectl git:(master) docker -H 0.0.0.0:32769 version Client: Version: 18.06.0-ce API version: 1.37 (downgraded from 1.38) Go version: go1.10.3 Git commit: 0ffa825 Built: Wed Jul 18 19:11:45 2018 OS/Arch: linux/amd64 Experimental: false Server: Engine: Version: 18.03.1-ce API version: 1.37 (minimum version 1.12) Go version: go1.9.5 Git commit: 9ee9f40 Built: Thu Apr 26 07:23:03 2018 OS/Arch: linux/amd64 Experimental: false
可以看到我本地在用的 docker cli 版本较高,当连接到低版本的 dockerd 时,API 版本降级至与 dockerd 版本保持一致。
当然,你可能会问,如果是 dockerd 版本高会如何呢?其实我日常中的开发环境就是这样,大多数 API 都没什么影响, 不过这并不是今天的重点。
root@bdcdac73ee20:/# docker version Client: Version: 17.06.0-ce API version: 1.30 Go version: go1.8.3 Git commit: 02c1d87 Built: Fri Jun 23 21:15:15 2017 OS/Arch: linux/amd64 Server: Version: dev API version: 1.39 (minimum version 1.12) Go version: go1.10.3 Git commit: e8cc5a0b3 Built: Tue Sep 4 10:00:36 2018 OS/Arch: linux/amd64 Experimental: false
0x07 build context
回到我们上面的构建过程中。我们可以看到日志内容的第一行:
...
Sending build context to Docker daemon 55.09MB
从这条日志,我们可以得到两个信息:
- 构建的过程是将 build context 发送给 dockerd , 实际的构建压力在 dockerd 上
- 发送了 55.09 MB
第一条结论,我们在上一小节已经讨论过了,我们来重点看下第二条结论。
(Tao) ➜ kubectl git:(master) ls -al 总用量 53808 drwxrwxr-x. 2 tao tao 4096 9月 5 01:00 . drwxrwxr-x. 3 tao tao 4096 9月 5 00:57 .. -rw-rw-r--. 1 tao tao 109 9月 5 01:00 Dockerfile -rwxrwxr-x. 1 tao tao 55084063 9月 5 00:53 kubectl (Tao) ➜ kubectl git:(master) du -sh . 53M . (Tao) ➜ kubectl git:(master) du -sh kubectl Dockerfile 53M kubectl 4.0K Dockerfile
按照我们 Dockerfile 的内容,我们需要将 kubectl 的二进制包放入镜像内,所以 build context 虽然比二进制文件多出来 2M 左右的大小你也不会很意外。
但我这里做了另一个例子,不多赘述,代码可以在我的 [GitHub]() 中找到。这里贴出来结果:
(Tao) ➜ text git:(master) ls -al 总用量 16 drwxrwxr-x. 2 tao tao 4096 9月 5 01:45 . drwxrwxr-x. 4 tao tao 4096 9月 5 01:44 .. -rw-rw-r--. 1 tao tao 77 9月 5 01:45 Dockerfile -rw-rw-r--. 1 tao tao 61 9月 5 01:45 file (Tao) ➜ text git:(master) du -b Dockerfile file 77 Dockerfile 61 file (Tao) ➜ text git:(master) docker -H 0.0.0.0:32769 build --no-cache=true -t local/file . Sending build context to Docker daemon 3.072kB ...
相信你看到这个结果已经明白我想表达的意思,我们继续探索下这个过程。
0x08 /build 请求
前面我们已经说过,这就是个普通的 HTTP 请求,所以我们当然可以直接抓包来看看到底发生了什么?
很简单,通过 dockerd 的地址,使用 POST
方法,访问 /build
接口, 当然实际情况是会增加前缀,即我在上面提到的版本号,在目前的环境中使用的是 /v1.37/build
这个接口。
而这个请求携带了一些很有用的参数,和头信息。这里我来简单说下:
Header
build 请求的头部,主要有以下两个
Content-Type
默认值为application/x-tar
,表明自己是一个归档。X-Registry-Config
这个头部信息中包含着 registry 的地址及认证信息,并且以 base64 进行编码。对 docker 熟悉的朋友或者看过我之前文章的朋友应该知道, Docker cli 在 login 成功后,会将认证信息保存至本地,密码做 base64 保存。而 build 的时候则会将此信息再次 base64 进行编码。通过这里也可以看出来,在使用远端 Dockerd 的时候, 应该尽量配置 TLS 以防止中间人攻击,造成密码泄漏等情况。
Parameters
请求参数中,列几个比较有意义的:
t
这其实就是我们docker build -t
时候指定的参数,并且,我们可以同时指定多个-t
同时构建多个不同名称的镜像。memory
cpusetcpus
这些主要用于资源限制buildargs
如果想要了解这个参数,可以回忆下 Dockerfile 中的ARG
指令的用法
当然,我们想要探索的过程其实重点就在于请求头部了, 整个请求的输入流,必须是一个 tar
压缩包,并且支持 identity
(不压缩), gzip
, bzip2
, xz
等压缩算法。
0x09 实现
我们来看下基本的实现:
func (cli *Client) ImageBuild(ctx context.Context, buildContext io.Reader, options types.ImageBuildOptions) (types.ImageBuildResponse, error) { query, err := cli.imageBuildOptionsToQuery(options) if err != nil { return types.ImageBuildResponse{}, err } headers := http.Header(make(map[string][]string)) buf, err := json.Marshal(options.AuthConfigs) if err != nil { return types.ImageBuildResponse{}, err } headers.Add("X-Registry-Config", base64.URLEncoding.EncodeToString(buf)) headers.Set("Content-Type", "application/x-tar") serverResp, err := cli.postRaw(ctx, "/build", query, buildContext, headers) if err != nil { return types.ImageBuildResponse{}, err } osType := getDockerOS(serverResp.header.Get("Server")) return types.ImageBuildResponse{ Body: serverResp.body, OSType: osType, }, nil }
0x0A 总结
这篇主要内容集中在 docker build 的过程及其原理上,为什么首先要写这篇,主要是因为镜像和我们息息相关, 并且也是我们使用的第一步。而很多情况下,推进业务容器化也都要面临着性能优化及其他规范之类的。
参考