docker build高效利用cache

最新推荐文章于 2024-05-07 19:00:09 发布
最新推荐文章于 2024-05-07 19:00:09 发布
阅读量5.2k 收藏 3
点赞数 1
分类专栏： Docker 文章标签： Docker cache Dockerfile
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/jeorch/article/details/84402624
版权

原文链接：docker build高效利用cache

前言

Dockerfile 可以通过docker build命令构建为一个新的镜像，Dockerfile 中每一条命令都会构建出一个新的镜像层。当你重新build相同的Docker时，Docker会逐条语句check自身的cache镜像层，如果命中相同的，就使用cache而不执行这条语句继续往下逐条check直至build完成。Docker build cache相关知识可以参考docker build 的 cache 机制。

本文主要讲述如何利用cache提高build的效率。

正文

1. build Dockerfile 部分使用 cache

目前 docker 利用 cache 的基本原理是在父节点存在 cache 的前提下 当前 dockerfile 的那条语句之前也构建过就可以用 cache。例外就是 ADD 和 COPY 需要计算一个 checksum。 大致意思就是如果你中间有一层不能用 cache 那之后的层次就都不能用了。因此主要功夫在写 dockerfile 上，尽量把不变的内容放在前面，频繁变化的内容放在最后。简单说就是 把 ADD 和 COPY 的内容放最后一句，这样很多情况下只有最后一层变，前面都能用 cache。 比如我们在Dockerfile中使用了RUN go get xxx，我们提交了一下最新代码，然后重新build时，会命中cache，导致build出的image使用的还是之前的代码。

▶ docker build -t="jeorch/ddsaas:1.0.1" ./
Sending build context to Docker daemon  266.2kB
Step 1/8 : FROM golang:alpine
 ---> 20ff4d6283c0
Step 2/8 : RUN apk add --no-cache git mercurial
 ---> Using cache
 ---> 7c76541453d4
Step 3/8 : RUN go get github.com/alfredyang1986/blackmirror
 ---> Using cache
 ---> b8a5b7464bed
Step 4/8 : RUN go get github.com/alfredyang1986/ddsaas
 ---> Using cache
 ---> 27e569d1cdf5
Step 5/8 : ADD deploy-config/ /go/bin/
 ---> Using cache
 ---> 0a72ad21b21c
Step 6/8 : RUN go install -v github.com/alfredyang1986/ddsaas
 ---> Using cache
 ---> beda69880a63
Step 7/8 : WORKDIR /go/bin
 ---> Using cache
 ---> f57778461a26
Step 8/8 : ENTRYPOINT ["ddsaas"]
 ---> Using cache
 ---> 4c41a3140c4d
Successfully built 4c41a3140c4d
Successfully tagged jeorch/ddsaas:1.0.1

我们可以在Dockerfile中的RUN go get xxx之前添加一句标识来阻断cache继续命中，这样接下来的语句都会重新执行而不继续check cache。我在Dockerfile中加入了一行“MAINTAINER Jeorch”，Step-2还会使用cache，而接下来的都不会使用cache。

▶ docker build -t="jeorch/ddsaas:1.0.1" ./
Sending build context to Docker daemon  266.2kB
Step 1/9 : FROM golang:alpine
 ---> 20ff4d6283c0
Step 2/9 : RUN apk add --no-cache git mercurial
 ---> Using cache
 ---> 7c76541453d4
Step 3/9 : MAINTAINER Jeorch
 ---> Running in 33bbfbd73508
Removing intermediate container 33bbfbd73508
 ---> ac2188cd26c4
Step 4/9 : RUN go get github.com/alfredyang1986/blackmirror
 ---> Running in 3363c4394984
Removing intermediate container 3363c4394984
 ---> db9237361148
Step 5/9 : RUN go get github.com/alfredyang1986/ddsaas
 ---> Running in 738534a17f5e
Removing intermediate container 738534a17f5e
 ---> fe40c81e076d
Step 6/9 : ADD deploy-config/ /go/bin/
 ---> ddad378cdf99
Step 7/9 : RUN go install -v github.com/alfredyang1986/ddsaas
 ---> Running in 74d83f8a7c9a
Removing intermediate container 74d83f8a7c9a
 ---> 50f17bf6530e
Step 8/9 : WORKDIR /go/bin
 ---> Running in a904feb924d2
Removing intermediate container a904feb924d2
 ---> f1297882f28d
Step 9/9 : ENTRYPOINT ["ddsaas"]
 ---> Running in 3dda764560b3
Removing intermediate container 3dda764560b3
 ---> 236b15602a89
Successfully built 236b15602a89
Successfully tagged jeorch/ddsaas:1.0.1

LABEL比MAINTAINER更灵活，推荐使用LABEL，弃用MAINTAINER。详情看深入Dockerfile（一）: 语法指南

2. build Dockerfile 不使用cache

Dockerfile需要全部重新build，即我们不需要利用cache，我们可以在docker build 命令后使用–no-cache。

▶ docker build -t="jeorch/ddsaas:1.0.1" ./ --no-cache
Sending build context to Docker daemon  266.2kB
Step 1/8 : FROM golang:alpine
 ---> 20ff4d6283c0
Step 2/8 : RUN apk add --no-cache git mercurial
 ---> Running in 770bcf003ff2
fetch http://dl-cdn.alpinelinux.org/alpine/v3.8/main/x86_64/APKINDEX.tar.gz
fetch http://dl-cdn.alpinelinux.org/alpine/v3.8/community/x86_64/APKINDEX.tar.gz
(1/16) Installing nghttp2-libs (1.32.0-r0)
(2/16) Installing libssh2 (1.8.0-r3)
(3/16) Installing libcurl (7.61.1-r1)
(4/16) Installing expat (2.2.5-r0)
(5/16) Installing pcre2 (10.31-r0)
(6/16) Installing git (2.18.1-r0)
(7/16) Installing libbz2 (1.0.6-r6)
(8/16) Installing libffi (3.2.1-r4)
(9/16) Installing gdbm (1.13-r1)
(10/16) Installing ncurses-terminfo-base (6.1_p20180818-r1)
(11/16) Installing ncurses-terminfo (6.1_p20180818-r1)
(12/16) Installing ncurses-libs (6.1_p20180818-r1)
(13/16) Installing readline (7.0.003-r0)
(14/16) Installing sqlite-libs (3.24.0-r0)
(15/16) Installing python2 (2.7.15-r1)
(16/16) Installing mercurial (4.6.1-r0)
Executing busybox-1.28.4-r0.trigger
OK: 80 MiB in 30 packages
Removing intermediate container 770bcf003ff2
 ---> 86dfeb5c30c2
Step 3/8 : RUN go get github.com/alfredyang1986/blackmirror
 ---> Running in d7dd1c8fab79
Removing intermediate container d7dd1c8fab79
 ---> c7b61e4b6722
Step 4/8 : RUN go get github.com/alfredyang1986/ddsaas
 ---> Running in c783e5fe874c
Removing intermediate container c783e5fe874c
 ---> c07eda8eb619
Step 5/8 : ADD deploy-config/ /go/bin/
 ---> aa51cfe6311f
Step 6/8 : RUN go install -v github.com/alfredyang1986/ddsaas
 ---> Running in 6ca73a6969df
Removing intermediate container 6ca73a6969df
 ---> be7090e0095e
Step 7/8 : WORKDIR /go/bin
 ---> Running in 9f19f951d662
Removing intermediate container 9f19f951d662
 ---> a0894151c5e6
Step 8/8 : ENTRYPOINT ["ddsaas"]
 ---> Running in 9404dad6e3bf
Removing intermediate container 9404dad6e3bf
 ---> 2681d9a56d7b
Successfully built 2681d9a56d7b
Successfully tagged jeorch/ddsaas:1.0.1

3. build Dockerfile 全部利用cache

正常执行docker build就行。

参考

jeorch
关注
  • 1
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
docker build 的 cache 机制
jeorch的博客
11-23 9740
docker build 简介 众所周知，一个 Dockerfile 唯一的定义了一个 Docker 镜像。如此依赖，Docker 必须提供一种方式，将 Dockerfile 转换为 Docker 镜像，采用的方式就是 docker build 命令。以如下的 Dockerfile 为例： FROM ubuntu:14.04 RUN apt-get update ADD run.sh...
清理docker Build Cache缓存文件
星星的博客
11-29 1233
使用docker构建镜像，发现docker的overlay2文件会越来越大。可以添加一条自动任务，每月自动清理docker构建缓存。# 每月1日清理docker build的缓存。可以看到已经占用了26.7GB，清理这个缓存。再次查看，已经没有缓存了，清理成功。
Java基础学习：Dozer映射框架
最新发布
玉汝于成
05-07 972
Dozer是一个Java工具，主要用于在相同类型或不同复杂类型的JavaBean之间进行数据的递归复制。这个工具在分层的J2EE系统中非常有用，尤其是在JavaBean之间的数据拷贝过程中。Dozer的特点包括默认属性映射：如果两个JavaBean的属性名称相同，Dozer会自动将它们进行映射，而无需进行显式配置。自动类型转换：Dozer可以自动处理类型不同的属性映射，只要这些类型在Dozer可理解的范围内。这可以极大地提高开发效率。处理null属性。
怎样使用docker build cache
AStranger
10-11 3180
简介 docker build的过程需要一段时间，它可能是下载基础镜像，下载和安装依赖包，这就是使用cache的原因。 有关Docker build cache docker是分层构建的，Dockerfile中的每条指令就是一层。 FROM alpine:latest RUN apk add --no-cache bash ADD entrypoint.sh / ENTRYPOINT ["/entrypoint.sh"] 上面的镜像会运行一个脚本，打印当前时间并睡眠60秒。 #!/bin/bash wh
Docker Build Cache 缓存清理
小单的博客专栏
11-23 1万+
可以用于清理磁盘，删除关闭的容器、无用的数据卷和网络，以及dangling镜像（即无tag的镜像）。Docker 18.09 引入了 BuildKit ，提升了构建过程的性能、安全、存储管理等能力。注意，这两个命令会把你暂时关闭的容器，以及暂时没有用到的 Docker 镜像都删掉，请注意使用！如果你希望保留最近一定时间的缓存，删除时长更久的缓存，可以通过添加。清理得更加彻底，可以将没有容器使用Docker镜像都删掉。最后的 RECLAIMABLE 这一列表示可回收的大小。
docker-build-publish-plugin
02-19
詹金斯的Docker注册表构建插件 如果您想构建基于Docker的项目并将其推送到Docker注册表（包括... 该插件将在工作区中使用Dockerfile（可能先前已从git中检出），并将调用docker build来创建Docker映像。 结果可以自
docker-build-args-test
04-27
[[NORMAL]]+ docker build --no-cache -t build-args-normal .Sending build context to Docker daemon 56.32 kBStep 1 : FROM debian ---> bf84c1d84a8fStep 2 : ARG user="nginx" ---> Running in ...
aws-codebuild-images:带有锈蚀的AWS CodeBuild Docker映像
03-30
AWS CodeBuild Docker映像 该存储库包含AWS CodeBuild Docker映像的Dockerfile。 它基于和 图像在发布到dockerhub Dockerfile位于 共有三种口味： slim：使用AWS CLI v2和Docker-in-Docker的Debian稳定slim 细...
docker-repo-cache:用于Docker构建的透明HTTP缓存
05-15
docker-repo-cache 一个透明地更改docker build过程的实用程序，以将本地缓存用于HTTP请求。正在安装使用sudo apt-get install nodejs-legacy或安装节点。 ~$ ./install.sh解除安装 ~$ ./uninstall.sh它是如何工作的...
docker-build-with-cache-action:在每个阶段构建并推送Docker图像缓存以减少构建时间
05-07
Docker缓存构建动作该操作将构建您的Docker映像并缓存阶段（支持多阶段构建），以缩短后续构建的构建时间。 默认情况下，它将带有所有阶段的映像推送到注册表（需要用户名和密码），但是您可以通过将push_image_and_...
Docker 资源管理之build cache 清理
AMimiDou_212
09-12 9946
Docker 资源管理之 build cache 清理 [一]1、Buid cache 简介2、清理本地cache 1、Buid cache 简介 平常我们会在docker 构建环境下不断地构建新的镜像，但是当我们不断地构建新的镜像的时候总是获取不到我们需要的镜像，为什么会这个样子呢？其实，是由于image cache 导致的，本身cache 是为了提升build 速度，其会利用现有的cache 来快速构建新的image，因此，当我们构建 image 有问题可以尝试清理下本地的cache； 2、清理本地ca
Docker 学习
jartins的博客
12-08 543
Docker入门 什么是docker：是一个容器，将程序打包隔离，可以粗糙的理解为一个轻量级的虚拟机(的确不是虚拟机 少一个Docker Engine)，Docker解决了软件包装的问题。 mac安装docker：进入docker.com官网、点击 Get Started linux安装docker： sudo wget -qO- https://get.docker.com | sh sudo usermod -aG docker xbf docker架构介绍与实战 ..
docker基础(二)之docker build
qq_40804558的博客
03-19 1662
介绍了docker build的概念，使用方法，及对于各个选项的详细解释，对部分选项进行使用场景，使用方法的举例等。`docker build `命令用于使用 `Dockerfile `创建镜像。后续有新的例子，将持续更新。
docker之Dockerfile实践
牧竹子
06-12 1170
dockerfile入门完整样例和实例
[问题已处理]-docker build出来的镜像没有更新成功
爷来辣的博客
04-27 3135
导语：记录一下docker build镜像的坑。如果修改代码文件的话，docker build 有时候会不替换文件，而会使用cache，导致代码文件没有更新。 第一次构建镜像。产生了cache，计算了代码包tgz的md5值为2df6582c 第二次更新了代码包md5值为464a255 可以看到2个包tgz包的md5值是不一样的。docker build的时候依然使用了cache 需要在构建时规避cache docker build -t aiserverconfig-ge930:042002 --no
dockerfile清除缓存
zzhongcy的专栏
09-08 5064
在使用Docker构建镜像时，Docker会根据Dockerfile中的指令逐步构建镜像，每一个指令都会生成一个中间镜像，这些中间镜像会被缓存起来，以便在后续构建过程中加快速度。然而，当我们修改了Dockerfile中的某一行指令时，Docker会从修改的指令开始重新构建，但之前的中间镜像仍然会被复用，这可能会导致构建结果不如预期。所以，在构建Docker镜像时，我们经常需要清除Docker缓存，以确保使用最新的Dockerfile指令重新构建镜像。
docker build cache 清理
power_to_go
04-15 2990
docker system df 查看 root@ip-172-30-69-134 ~]# docker system df TYPE TOTAL ACTIVE SIZE RECLAIMABLE Images 41 1 10.66GB 10.63GB (99%) Containers 1 1 0B 0B Local Volumes 13
docker 不使用缓存重建镜像
热门推荐
whatday的专栏
01-20 1万+
使用Dockerfile构建镜像可以利用它的缓存功能：只有在命令已更改的情况下，才会重建已构建的步骤。下面是重新构建之前涉及到的to-do app的示例： $ docker build . Sending build context to Docker daemon 2.56 kB Sending build context to Docker daemon Step 0 : FROM no...
docker build
07-27
Docker build是用于创建Docker镜像的命令。它基于Dockerfile文件构建镜像。Dockerfile是一个包含一系列指令的文本文件，用于定义镜像的构建步骤。 使用docker build命令，您可以在终端中指定Dockerfile的位置，并为...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值