docker go get问题_创建优化的Go镜像文件以及踩过的坑

最新推荐文章于 2024-01-07 22:53:15 发布
最新推荐文章于 2024-01-07 22:53:15 发布
阅读量518 收藏
点赞数
文章标签： docker go get问题
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_36344862/article/details/113067119
版权
本文详细介绍了如何在Docker中使用多级构建创建优化的Go镜像，以解决1G大小的镜像问题。作者通过实例展示了如何处理Go程序在Alpine Linux环境下遇到的cgo、Zap日志库和k8s部署时的挑战，提供了解决方案。最终，通过多级构建生成的镜像大小仅为14M。
摘要由CSDN通过智能技术生成

点击上方蓝色“Go语言中文网”关注我们，领全套Go资料，每天学习 Go 语言

本文作者：倚天码农

原文链接：https://segmentfault.com/a/1190000020784107

在 Docker 上创建 Go 镜像文件并不困难，但建立的文件很大，接近 1G，使用起来不太方便。Docker 镜像的一个主要难题就是如何优化，创建小的镜像。我们可以用多级构建的方法来创建 Docker 镜像文件，它也不复杂。但由于使用这种方法时，需要用简版的 Linux(Alpine)，它带来了一系列的问题。本文讲述如何解决这些问题并成功创建优化的 Go 镜像文件，优化之后只有 14M。

单级构建

我们用一个 Go 程序作为例子来展示如何创建 Go 镜像。下面就是这个程序的目录结构。

8d337a5996b6a3f5af503af82307d59e.png

Go 程序的具体内容并不重要，只要能运行就行了。我们重点关注“docker”子目录(“kubernetes”子目录里的文件有别的用途，会在另外的文章中讲解)。它里面有三个文件。“docker-backend.sh”是创建镜像的命令文件，“Dockerfile-k8sdemo-backend”是多级构建文件，“Dockerfile-k8sdemo-backend-full”是单级构建文件，

FROM golang:latest # 从Docker库中获取标准golang镜像
WORKDIR /app # 设置镜像内的当前工作目录
COPY go.mod go.sum ./ # 拷贝Go的包管理文件
RUN go mod download # 下载依赖包中的依赖库
COPY . . #从宿主机拷贝文件到镜像
WORKDIR /app/cmd # 设置新的镜像内的当前工作目录
RUN GOOS=linux go build -o main.exe #编译Go程序，并在生成可执行文件
CMD exec /bin/bash -c "trap : TERM INT; sleep infinity & wait"# 保持镜像一直运行，容器不被停掉

上面就是“Dockerfile-k8sdemo-backend-full”镜像文件。请阅读文件中的注释以获得解释。

生成镜像容器

cd /home/vagrant/jfeng45/k8sdemo/
docker build -f ./script/kubernetes/backend/docker/Dockerfile-k8sdemo-backend-full -t k8sdemo-backend-full .

运行镜像容器，“--name k8sdemo-backend-full”是给这个容器一个名字(k8sdemo-backend-full)，最后的“k8sdemo-backend-full”是镜像的名字

docker run -td --name k8sdemo-backend-full k8sdemo-backend-full

登录镜像容器, 其中“a95c”是容器 ID 的前四位。

docker exec -it a95c /bin/bash

文件里有一条语句需要特别解释一下“COPY . .”，它把文件从宿主机拷贝到镜像里，在镜像里已经用“WORKDIR”设置了当前工作目录，那么宿主机的“.”(当前目录)是哪个目录呢？它不是 Dockerfile 文件所在的目录，而是你运行“Docker build”命令时所在的目录。

我们要把整个程序都拷贝到镜像里，那么在运行 docker 命令时一定是在程序的根目录，也就是“k8sdemo”目录。但是与容器有关的文件都在“script”目录的子目录下，那么当你运行“Docker build”命令时，它是怎么找到 Docekrfile 的呢？这里有一个重要的概念就是“build cotext”(构建上下文)，由它来决定 Dockerfile 的缺省目录。当你运行“docker build -t k8sdemo-backend .”创建镜像时，它会从“build cotext”的根目录去找 Dockerfile 文件，缺省值是你运行 docker 命令的目录。但由于我们的 Dockerfile 在另外的目录里，因此需要在命令里加一个“-f”选项来指定 Dockerfile 的位置，命令如下。其中“-t k8sdemo-backend-full” 是指明镜像名，格式是“name:tag”, 我们这里没有 tag，就只有镜像名。

docker build -f ./script/kubernetes/backend/docker/Dockerfile-k8sdemo-backend-full -t k8sdemo-backend-full .

详情请参见Dockerfile reference[1]

这样创建的镜像用的是全版的 Linux 系统，因此比较大，大概接近 1G。如果要想优化，就要用多级构建。

Multi-stage builds(多级构建)

单级构建只有一个“From”语句，而在多级构建中，有多个“From”，每个“From”构成一级。例如，下面的文件有两个“From”，是一个二级构建。每一级都可以根据需要选择适合自己的基础(base)镜像来构造本级镜像。每级镜像完成之后，下一级镜像可选择只保留上一级构建中对自己有用的最终文件，而删除所有的中间产物，这样就大大节省了空间。详情请参见Use multi-stage builds[2]

下面就是多级构建的 dockerfile(“Dockerfile-k8sdemo-backend”).

FROM golang:latest as builder # 本级镜像用“builder”标识# Set the Current Working Directory inside the container
WORKDIR /app
COPY go.mod go.sum ./
RUN go mod download
COPY . .
WORKDIR /app/cmd
# Build the Go app#RUN CGO_ENABLED=0 GOOS=linux go build -a -installsuffix cgo -o main.exe
RUN go build -o main.exe

######## Start a new stage from scratch #######
FROM alpine:latest
RUN apk --no-cache add ca-certificates
WORKDIR /root/
RUN mkdir /lib64 && ln -s /lib/libc.musl-x86_64.so.1 /lib64/ld-linux-x86-64.so.2
# Copy the Pre-built binary file from the previous stage
COPY --from=builder /app/cmd/main.exe . #把“/app/cmd/main.exe”文件从“builder”中拷贝到本级的当前目录# Command to run the executable
CMD exec /bin/sh -c "trap : TERM INT; (while true; do sleep 1000; done) & wait"

创建镜像：

cd /home/vagrant/jfeng45/k8sdemo/
docker build -f ./script/kubernetes/backend/docker/Dockerfile-k8sdemo-backend -t k8sdemo-backend .

登录镜像：

docker run -it --name k8sdemo-backend k8sdemo-backend /bin/sh

上面的文件把构造过程分成两部分，第一部分编译并生成 Go 可执行文件，用的是是全版 Linux. 第二部分是拷贝可执行文件到合适的目录并保持容器运行，用的是简化版 Linux。第一部分的命令与单级构建指令基本相同，第二部分的命令会在后面解释。

使用这种方法大大减少了空间占用，创建的 Docker 镜像只有 14M，但由于它使用的简化版的 Linux(Alpine)，导致我踩了很多坑，下面看看这些坑是如何被填上的。

踩过的坑

1. 找不到文件

创建镜像成功后，登录镜像：

docker run -it --name k8sdemo-backend k8sdemo-backend /bin/sh

运行编译后的 Go 可执行文件“main.exe”,错误信息如下：

~ # ./main.exe
./main.exe not found

Go 是一个静态编译的语言，也就是说在编译时就把需要的库存放在编译好的程序里了，这样在执行时就不需要再动态链接其它库，使得运行起来非常方便。但并不是所有情况下都是这样，例如但当你使用了 cgo(让 Go 程序可以调用 C 程序)时，通常需要动态链接 libc 库(在 Linux 里是 glibc)。Go 里的 net 和 os/user 库都用了 cgo。但由于 Apline 的 Linux 版本没有 libc 库，这样在运行时就找不到动态链接，因此报错。它有两种办法来解决：

  • CGO_ENABLED=0：当你在编译 Go 时加了这个参数，编译时就不会使用 cgo，当然也就意味着使用 cgo 的库都不能用了。这是最简单的办法，但它对你的程序有所限制。

  • 使用 musl：musl 是一个轻量级的 libc 库。Apline 的 Linux 版本里自带 musl 库，你只要加入如下命令就行了。

RUN mkdir /lib64 && ln -s /lib/libc.musl-x86_64.so.1 /lib64/ld-linux-x86-64.so.2

关于 musl 的详情请参见Statically compiled Go programs, always, even with cgo, using musl[3]

关于这个错误的讨论请参见Installed Go binary not found in path on Alpine Linux Docker[4]

2. Zap 报错

Zap 是一个很流行的 Go 日志库，我在程序里用它来输出日志。当加上上面的语句后，原来的错误消失了，但又有一个新的错。它是由 Zap 产生的。

~ # ./main.exe
panic: runtime error: invalid memory address or nil pointer dereference
[signal SIGSEGV: segmentation violation code=0x1 addr=0x0 pc=0x6a37ab]

goroutine 1 [running]:
github.com/jfeng45/k8sdemo/config.initLog(0x0, 0x0, 0x0, 0x0, 0x0, 0x0, 0x0, 0x0, 0x0, 0x0, ...)
        /app/config/zap.go:94 +0x1fb
github.com/jfeng45/k8sdemo/config.RegisterLog(0x0, 0x0)
        /app/config/zap.go:42 +0x42
github.com/jfeng45/k8sdemo/config.BuildRegistrationInterface(0x751137, 0x5, 0x43ab77, 0x984940, 0xc00002c750, 0xc000074f50)
        /app/config/appConfig.go:23 +0x26
main.testRegistration()
        /app/cmd/main.go:18 +0x3a
main.main()
        /app/cmd/main.go:11 +0x20

我现在也不十分清楚出错的原因，应该是跟 Musl 库有关。估计是 Zap 用到的某个库与 Musl 不兼容。我把日志换成另一个库 Logrus 问题就不存在了。这确实有点小遗憾，Zap 是迄今为止我发现的最好的 Go 日志库。如果你坚持用 Zap 的话就只能用全版 Linux，忍受大的镜像文件；或者改用 Logrus 日志库，这样就可以享受小的镜像文件。

3. k8s 部署不成功

换成 Logrus 之后，就没再报错，Docker 里的程序运行正常。但如果你用这个镜像创建 k8s 部署时又出了问题。

下面是 k8s 创建部署的命令：

vagrant@ubuntu-xenial:~/jfeng45/k8sdemo/script/kubernetes/backend$ kubectl get pod k8sdemo-backend-deployment-6b99dc6b8c-2fwnm
NAME                                          READY   STATUS             RESTARTS   AGE
k8sdemo-backend-deployment-6b99dc6b8c-2fwnm   0/1     CrashLoopBackOff   42         3h10m

错误信息是“CrashLoopBackOff”。它产生的原因是容器要求里面的程序一直运行，一旦运行结束，容器就会停掉。k8s 发现容器停掉之后会重新部署容器，然后又被停掉，这样就陷入了死循环。解决的办法是在镜像文件里加入如下命令：

CMD exec /bin/bash -c "trap : TERM INT; sleep infinity & wait"

详情请参见How can I keep a container running on Kubernetes?[5]和My kubernetes pods keep crashing with “CrashLoopBackOff” but I can't find any log[6]

4. Pod 出错

加入命令，重新生成镜像之后，果然解决了死循环的问题，k8s 部署没有报错，但 Pod 又有了新的错误如下，“k8sdemo-backend-deployment-6b99dc6b8c-n6bnt”的“STATUS”是“Error”。

vagrant@ubuntu-xenial:~/jfeng45/k8sdemo/script/kubernetes/backend$ kubectl get pod
NAME                                           READY   STATUS    RESTARTS   AGE
envar-demo                                     1/1     Running   8          16d
k8sdemo-backend-deployment-6b99dc6b8c-n6bnt    0/1     Error     1          6s
k8sdemo-database-deployment-578fc88c88-mm6x8   1/1     Running   2          4d21h
nginx-deployment-77fff558d7-84z9z              1/1     Running   3          10d
nginx-deployment-77fff558d7-dh2ms              1/1     Running   3          10d

原因是在 Docker 文件里运行了如下命令：

CMD exec /bin/bash -c "trap : TERM INT; sleep infinity & wait"

但 Alpine 里没有“/bin/bash”.需要改成“/bin/sh”，需要修改成如下命令：

CMD exec /bin/sh -c "trap : TERM INT; (while true; do sleep 1000; done) & wait"

修改之后，k8s 部署成功，程序运行正常。

源码:

完整源码的 github 链接[7]

喜欢本文的朋友，欢迎关注“Go语言中文网”：

8d68d290656aba6c77e67b3e76f964b0.png

推荐阅读

  • 通过实例快速掌握k8s(Kubernetes)核心概念

  • 通过搭建MySQL掌握k8s(Kubernetes)重要概念(上)：网络与持久卷

  • 通过搭建MySQL掌握k8s重要概念(下)：参数配置

文中链接

[1]

Dockerfile reference: https://docs.docker.com/engine/reference/commandline/build/

[2]

Use multi-stage builds: https://docs.docker.com/develop/develop-images/multistage-build/

[3]

Statically compiled Go programs, always, even with cgo, using musl: http://dominik.honnef.co/posts/2015/06/statically_compiled_go_programs__always__even_with_cgo__using_musl/

[4]

Installed Go binary not found in path on Alpine Linux Docker: https://stackoverflow.com/questions/34729748/installed-go-binary-not-found-in-path-on-alpine-linux-docker

[5]

How can I keep a container running on Kubernetes?: https://stackoverflow.com/questions/31870222/how-can-i-keep-a-container-running-on-kubernetes

[6]

My kubernetes pods keep crashing with “CrashLoopBackOff” but I can't find any log: https://stackoverflow.com/questions/41604499/my-kubernetes-pods-keep-crashing-with-crashloopbackoff-but-i-cant-find-any-lo

[7]

完整源码的github链接: https://github.com/jfeng45/k8sdemo

圈泉
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
创建优化的Go镜像文件以及踩过的坑
倚天码农的博客
10-24 3194
在Docker上创建Go镜像文件并不困难，但建立的文件很大，接近1G，使用起来不太方便。Docker镜像的一个主要难题就是如何优化，创建小的镜像。我们可以用多级构建的方法来创建Docker镜像文件，它也不复杂。但由于使用这种方法时，需要用简版的Linux（Alpine），它带来了一系列的问题。本文讲述如何解决这些问题并成功创建优化的Go镜像文件，优化之后只有14M。 单级构建： 我们用一个Go程序...
Docker Golang 开发环境搭建指南_docker golang开发环境(1)
最新发布
2401_84264107的博客
04-17 996
容器运行后，我们可以在其中进行 Golang 项目的开发。可以使用任何喜欢的文本编辑器，修改容器内的代码，并使用 Golang 工具链来编译和运行代码。为了实现这一目的，我们可以在容器内启用一个远程调试服务器，并通过远程调试器连接它。选项将容器的 8080 端口映射到主机的 8080 端口，使得我们可以通过主机的浏览器访问容器中运行的应用。命令来创建并运行一个容器，以开发我们的 Golang 项目。，然后将源代码复制到容器中，并安装依赖，构建应用。以上命令将在容器中构建并运行我们的应用。
Dockerfile中的ENV指令的具体使用详解
09-29
主要介绍了Dockerfile中的ENV指令的具体使用详解，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
go build 无文件_创建优化的Go镜像文件以及踩过的坑
weixin_39534780的博客
11-21 508
本文作者：倚天码农原文链接：https://segmentfault.com/a/1190000020784107在 Docker 上创建 Go 镜像文件并不困难，但建立的文件很大，接近 1G，使用起来不太方便。Docker 镜像的一个主要难题就是如何优化，创建小的镜像。我们可以用多级构建的方法来创建 Docker 镜像文件，它也不复杂。但由于使用这种方法时，需要用简版的 Linux(Alpine...
go语言怎么 控制一个变量输入的范围_golang快速入门[2.3]-go语言开发环境配置-linux
weixin_39710951的博客
11-10 126
linux安装Go语言开发包默认读者会使用linux的基本操作配置go语言的开发环境的第一步是要在go官网下载页面下载开发包linux需要下载tar.gz压缩文件这里我们下载的是 64 位的开发包，如果读者的电脑是 32 位系统或者有特殊的需求，则需要下载 32 位的开发包在上图所示页面中向下滚动即可找到 32 位开发包的下载地址，如下图所示注意，如果在ubuntu这样有图形化界面的linux操作...
-bash: go: command not found_五分钟用Docker快速搭建Go开发环境
weixin_39789206的博客
11-20 821
获取Docker镜像我们使用官方最新稳定版的镜像 golang:latest， 获取镜像前先得确保你电脑上运行了 Docker 客户端，没有的去官网下载一下吧这里就不多说了。下载dockerHub上的镜像直接使用命令：docker pull golang下载完镜像后用镜像运行一个容器：docker run --rm -it --name go-http-demo golang bash上面这个命令...
bash: go: 未找到命令_使用Docker设置简单的Go开发环境
weixin_39570505的博客
12-27 296
简要使用Docker建立强大的本地开发环境。实现单个启动脚本以启动环境。记录开发人员应如何启动环境并运行某些特定命令(例如启动/停止应用程序)。开发人员不应该对其本地计算机(Docker和编辑器除外)进行任何依赖。开发人员可以将源代码从本地计算机安装到环境中，以便他们可以使用自己喜欢的编辑器编写代码，并使代码自动同步到环境中。记录开发人员如何将源代码从本地计算机安装到环境中。至少有一个工具可以调试...
Docker run 出错standard_init_linux.go:211问题处理
whhit2011的博客
10-17 1709
Docker run出错standard_init_linux.go:211处理出错场景;问题及解决的详细步骤： 1.创建hello_rust项目并编译 2.Docker部署hello_rust；编写Dockerfile；build镜像；运行镜像； 运行自定义镜像[hello_rust]；运行官方镜像[hello_world] 问题分析总结
python docker 镜像过大_详解六种减小Docker镜像大小的方法
weixin_39861627的博客
12-20 2180
我从2017年做Vulhub开始，一直在和一个麻烦的问题做斗争：在编写Dockerfile的时候， 如何减小 docker build 生成的镜像大小？这篇文章就给大家总结一下我自己使用过的六种减小镜像大小的方法。1. 使用Alpine LinuxAlpine Linux是一个基于BusyBox和Musl Libc的Linux发行版，其最大的优势就是小。一个纯的基础Alpine Docker镜像在...
持续构建：使用Docker镜像方式构建go语言项目
知行合一 止于至善
01-02 2196
go官方提供了各种版本的，在Easypack中根据官方的Alpine镜像创建go语言的镜像，因为go 1.13开始GOPROXY 默认为 https://proxy.golang.org，将GOPROXY缺省设定为goproxy.cn，以方便更简单地使用go镜像进行构建。
asp.net web开发框架_Go 语言 Web 框架 Echo 系列：基础篇—搭建 Echo 开发环境
weixin_39946767的博客
11-26 173
工欲善其事必先利其器。我们先搞定 Echo 环境。Go 开发环境这个系列基于 Go1.14.4，Linux 系统。安装 Go 的方式有很多，可以在这里 https://studygolang.com/dl 下载对应操作系统的版本。我自己比较喜欢通过源码安装。我将我的方式告诉大家。(Windows 环境比较建议直接下载对应的包进行安装 https://studygolang.com/dl/golan...
bash: go: 未找到命令_Mac下brew安装go语言环境配置
weixin_39949297的博客
12-27 740
最近分析了一下主流市场的编程语言，发现GO语言还算比较火热（有上升势头），准备开始探索一下GO这个坑，闲话少说，下面开始1、安装（brew便于管理和升级）brew install go安装过程大同小异，会自动安装GO的最新稳定版本，因为我已经安装好了，没有截图，所以剽窃了一张别人的，好让大家有个参考 v1.7出现上面的结果就表示安装成功了，我们在终端输入go version查看我们的安装版本，我的...
前端中文字存在默认的行高及处理方法
ajaj_xiaoxiaohei的博客
09-22 1589
在不设置行高时，可以设为line-height: 1; ，即行高为文字的大小。确保行高不会影响上下边距的设置；
Dockerfile的ENV
duke_ding2的博客
01-07 4336
Dockerfile的ENV
go 清空文件内容_一个好的 Go 语言 Makefile 是怎样的
weixin_39671509的博客
11-21 319
精简的 Makefile，用于简化构建和管理用 Go 编写的 Web 服务器。我偶然调整我的 Makefiles 来加快我的开发过程，一天早上有点时间，我决定与大家分享其中诀窍。总而言之，我使用 Go 构建 Web 服务器，我对 Makefile 的期望如下：高级，简单的命令。比如：compile start stop watch 等等管理具体项目环境的变量，它应该包含 .env 文件开发模式，修...
docker镜像使用方法（查看、删除、更新、创建）
zzy0520的博客
10-06 1855
docker镜像使用方法（查看和删除） docker info 查看docker信息 docker images 列出本地主机上的镜像 docker search 搜索镜像 docker pull 下载镜像 docker inspect 镜像名 查看镜像 docker rmi 镜像名 删除镜像 docker commit 更新镜像，提交容器副本 docker commit -m=“has update” -a=“zgy” 容器ID 镜像名 -m:提交的描述信息 -a:指定
-bash: go: command not found_使用 Node.js 将珍藏的 bash 脚本封装成命令行工具
weixin_39828198的博客
11-23 263
阐述如何将一个常用的 bash 脚本融入 npm 生态之中，此处以最近遇到的一个 CR 提交脚本为例。背景作为程序猿，大家或多或少地都用过 GitHub 上的 merge request 功能。当然，除了这类 Code Review 方式，不少公司都有自己的 Code Review 平台，我司也不例外，我们使用了类似 Gerrit 的工具，此处我们暂且以 Gerrit 指代。由于最近在治理工程时，...
dockerfile中的env指令_11.dockerfile之ENV指令
weixin_39527292的博客
12-21 399
一、ENV指令说明ENV指令用来在镜像构建过程中设置环境变量，后续的RUN可以使用它所创建的环境变量当创建基于该镜像的container的时候，会自动拥有设置的环境变量二、ENV案例首先，编写dockerfile：#baseimageFROM centos#MAINTAINER,thisdockerfile createrMAINTAINER loose@docker.com#设置环境变量ENV ...
sudo go 提示找不到命令：sudo: go: command not found
热门推荐
调皮李小怪博客
12-21 1万+
环境变量配置： # ~/.bash_profile export GOROOT=/usr/local/go export GOPATH=/usr/local/GO export PATH=$PATH:$GOROOT/bin:$GOPATH/bin 错误描述： 使用非root用户，执行go version获得正确输出。 使用root用户，执行go verison获得正确输出。 使用非root用户，执行sudo go version获得输出sudo: go: command not f...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值