【Helm】release太多导致报错,一次从问题排查,修改源码编译到构建tiller镜像修复的经历...

最新推荐文章于 2022-06-22 17:28:52 发布
最新推荐文章于 2022-06-22 17:28:52 发布
阅读量1.6k 收藏
点赞数
原文链接：https://blog.csdn.net/weixin_33817333/article/details/89625321
版权

【Helm】release太多导致报错,一次从问题排查,修改源码编译到构建tiller镜像修复的经历...

 

0. 起因

在我们测试环境k8s上运行了数十个helm release, 昨天helm ls的时候居然报错了

 

  1. $ helm ls

  2. Error: trying to send message larger than max (23934705 vs. 20971520)

这个问题搜索下, 发现github issue今年一月就已经有人遇到了 https://github.com/helm/helm/issues/3322 , 今年二月份官方的同学也提pr修复了 https://github.com/helm/helm/pull/3514

为啥我这里还会出现呢

1. 探究

image
image
看下修复pr的主要内容, 发现只是把限制从4M提升到20M...

这个值还是一个常量, 目前最近的release和master也一样 我们使用的tiller镜像 registry.cn-beijing.aliyuncs.com/acs/tiller:v2.9.1，已经包了修复内容,看来想解决只能自己修改源码编译了

2. 修复

2.1 修改源码

image

const maxMsgSize = 1024 * 1024 * 100
这里改成100M,还能超的话只能说要再来一个集群了..

2.2 编译 Helm

拉下代码, 发现helm使用make进行构建, 按照官方 https://docs.helm.sh/developers/, 尝试初始化和构建

 

  1. 17:03 $ make bootstrap build

  2. glide install --strip-vendor

  3. [INFO] Downloading dependencies. Please wait...

  4. [INFO] --> Found desired version locally github.com/aokoli/goutils 9c37978a95bd5c709a15883b6242714ea6709e64!

  5. [INFO] --> Found desired version locally github.com/asaskevich/govalidator 7664702784775e51966f0885f5cd27435916517b!

  6. [INFO] --> Found desired version locally github.com/Azure/go-ansiterm d6e3b3328b783f23731bc4d058875b0371ff8109!

  7. [INFO] --> Found desired version locally github.com/Azure/go-autorest bca49d5b51a50dc5bb17bbf6204c711c6dbded06!

  8. [INFO] --> Found desired version locally github.com/beorn7/perks 3ac7bf7a47d159a033b107610db8a1b6575507a4!

  9. [INFO] --> Found desired version locally github.com/BurntSushi/toml 3012a1dbe2e4bd1391d42b32f0577cb7bbc7f005!

  10. [INFO] --> Found desired version locally github.com/chai2010/gettext-go c6fed771bfd517099caf0f7a961671fa8ed08723!

  11. [INFO] --> Found desired version locally github.com/cpuguy83/go-md2man 71acacd42f85e5e82f70a55327789582a5200a90!

  12. [INFO] --> Found desired version locally github.com/cyphar/filepath-securejoin a261ee33d7a517f054effbf451841abaafe3e0fd!

  13. [INFO] --> Found desired version locally github.com/davecgh/go-spew 782f4967f2dc4564575ca782fe2d04090b5faca8!

  14. [INFO] --> Found desired version locally github.com/dgrijalva/jwt-go 01aeca54ebda6e0fbfafd0a524d234159c05ec20!

  15. [INFO] --> Found desired version locally github.com/docker/distribution edc3ab29cdff8694dd6feb85cfeb4b5f1b38ed9c!

  16. [INFO] --> Found desired version locally github.com/docker/docker a9fbbdc8dd8794b20af358382ab780559bca589d!

  17. [INFO] --> Found desired version locally github.com/docker/go-connections 3ede32e2033de7505e6500d6c868c2b9ed9f169d!

  18. [INFO] --> Found desired version locally github.com/docker/go-units 9e638d38cf6977a37a8ea0078f3ee75a7cdb2dd1!

  19. [INFO] --> Found desired version locally github.com/docker/spdystream 449fdfce4d962303d702fec724ef0ad181c92528!

  20. [INFO] --> Found desired version locally github.com/evanphx/json-patch 36442dbdb585210f8d5a1b45e67aa323c197d5c4!

  21. [INFO] --> Found desired version locally github.com/exponent-io/jsonpath d6023ce2651d8eafb5c75bb0c7167536102ec9f5!

  22. [INFO] --> Found desired version locally github.com/fatih/camelcase f6a740d52f961c60348ebb109adde9f4635d7540!

  23. [INFO] --> Found desired version locally github.com/ghodss/yaml 73d445a93680fa1a78ae23a5839bad48f32ba1ee!

  24. [INFO] --> Found desired version locally github.com/go-openapi/jsonpointer 46af16f9f7b149af66e5d1bd010e3574dc06de98!

  25. [INFO] --> Found desired version locally github.com/go-openapi/jsonreference 13c6e3589ad90f49bd3e3bbe2c2cb3d7a4142272!

  26. [INFO] --> Found desired version locally github.com/go-openapi/spec 1de3e0542de65ad8d75452a595886fdd0befb363!

  27. [INFO] --> Found desired version locally github.com/go-openapi/swag f3f9494671f93fcff853e3c6e9e948b3eb71e590!

  28. [INFO] --> Found desired version locally github.com/gobwas/glob 5ccd90ef52e1e632236f7326478d4faa74f99438!

  29. [INFO] --> Found desired version locally github.com/gogo/protobuf c0656edd0d9eab7c66d1eb0c568f9039345796f7!

  30. [INFO] --> Found desired version locally github.com/golang/glog 44145f04b68cf362d9c4df2182967c2275eaefed!

  31. [INFO] --> Found desired version locally github.com/golang/groupcache 02826c3e79038b59d737d3b1c0a1d937f71a4433!

  32. [INFO] --> Found desired version locally github.com/golang/protobuf 1643683e1b54a9e88ad26d98f81400c8c9d9f4f9!

  33. [INFO] --> Found desired version locally github.com/google/btree 7d79101e329e5a3adf994758c578dab82b90c017!

  34. [INFO] --> Found desired version locally github.com/google/gofuzz 44d81051d367757e1c7c6a5a86423ece9afcf63c!

  35. [INFO] --> Found desired version locally github.com/google/uuid 064e2069ce9c359c118179501254f67d7d37ba24!

  36. [INFO] --> Found desired version locally github.com/googleapis/gnostic 0c5108395e2debce0d731cf0287ddf7242066aba!

  37. [INFO] --> Found desired version locally github.com/gophercloud/gophercloud 781450b3c4fcb4f5182bcc5133adb4b2e4a09d1d!

  38. [INFO] --> Found desired version locally github.com/gosuri/uitable 36ee7e946282a3fb1cfecd476ddc9b35d8847e42!

  39. [INFO] --> Found desired version locally github.com/gregjones/httpcache 787624de3eb7bd915c329cba748687a3b22666a6!

  40. [INFO] --> Found desired version locally github.com/grpc-ecosystem/go-grpc-prometheus 0c1b191dbfe51efdabe3c14b9f6f3b96429e0722!

  41. [INFO] --> Found desired version locally github.com/hashicorp/golang-lru a0d98a5f288019575c6d1f4bb1573fef2d1fcdc4!

  42. [INFO] --> Found desired version locally github.com/huandu/xstrings 3959339b333561bf62a38b424fd41517c2c90f40!

  43. [INFO] --> Found desired version locally github.com/imdario/mergo 9316a62528ac99aaecb4e47eadd6dc8aa6533d58!

  44. [INFO] --> Found desired version locally github.com/inconshreveable/mousetrap 76626ae9c91c4f2a10f34cad8ce83ea42c93bb75!

  45. [INFO] --> Found desired version locally github.com/json-iterator/go f2b4162afba35581b6d4a50d3b8f34e33c144682!

  46. [INFO] --> Found desired version locally github.com/mailru/easyjson 2f5df55504ebc322e4d52d34df6a1f5b503bf26d!

  47. [INFO] --> Found desired version locally github.com/MakeNowJust/heredoc bb23615498cded5e105af4ce27de75b089cbe851!

  48. [INFO] --> Found desired version locally github.com/Masterminds/semver 517734cc7d6470c0d07130e40fd40bdeb9bcd3fd!

  49. [INFO] --> Found desired version locally github.com/Masterminds/sprig 15f9564e7e9cf0da02a48e0d25f12a7b83559aa6!

  50. [WARN] Unable to checkout golang.org/x/text

  51. [ERROR] Update failed for golang.org/x/text: Cannot detect VCS

  52. [WARN] Unable to checkout golang.org/x/time

  53. [ERROR] Update failed for golang.org/x/time: Cannot detect VCS

  54. [WARN] Unable to checkout google.golang.org/appengine

  55. [ERROR] Update failed for google.golang.org/appengine: Cannot detect VCS

  56. [WARN] Unable to checkout google.golang.org/genproto

  57. [ERROR] Update failed for google.golang.org/genproto: Cannot detect VCS

  58. [WARN] Unable to checkout google.golang.org/grpc

  59. [ERROR] Update failed for google.golang.org/grpc: Cannot detect VCS

  60. [ERROR] Failed to install: Cannot detect VCS

  61. Cannot detect VCS

  62. Cannot detect VCS

  63. Cannot detect VCS

  64. Cannot detect VCS

  65. Cannot detect VCS

  66. Cannot detect VCS

  67. Cannot detect VCS

  68. Cannot detect VCS

  69. Cannot detect VCS

  70. make: *** [bootstrap] Error 1

问题1: 国内golang的依赖包各种被墙

 

  1. .PHONY: bootstrap

  2. bootstrap:

  3. ifndef HAS_GLIDE

  4. go get -u github.com/Masterminds/glide

  5. endif

  6. ifndef HAS_GOX

  7. go get -u github.com/mitchellh/gox

  8. endif

  9.  

  10. ifndef HAS_GIT

  11. $(error You must install Git)

  12. endif

  13. glide install --strip-vendor

  14. go build -o bin/protoc-gen-go ./vendor/github.com/golang/protobuf/protoc-gen-go

看一眼Makefile, 这里用的glide管理的依赖包

好在github基本都会有对应的包源码, 有几种解决方式:

  1. clone源码然后按照目录结构放到对应$GOPATH/src下
  2. 给git设置proxy,小飞机你懂的~
  3. 使用 gopm
  4. 使用glide的mirror功能设置映射 glide-mirror

这里用的方法4, mirrors.yaml, 不想一个一个做映射可以参考这里 mirrors.yaml

问题2: 编译路径

 

  1. 17:36 $ make build

  2. GOBIN=/home/jokimina/golang/k8s.io/helm/bin go install -tags '' -ldflags '-w -s -X k8s.io/helm/pkg/version.GitCommit=26c88ec815785708cc19c014366ce4bb000ae89c -X k8s.io/helm/pkg/version.GitTreeState=dirty' k8s.io/helm/cmd/...

  3. warning: "k8s.io/helm/cmd/..." matched no packages

如果是直接拉下代码放到随意的目录, build的时候会报错, 需要放到
$GOPATH/src/k8s.io/helm再执行编译

问题3: golang默认不是静态编译, docker alpine镜像没有运行所需要的库

 

  1. $ make build

  2. GOBIN=/home/xxx/go/src/k8s.io/helm/bin CGO_ENABLED=0 go install -tags '' -ldflags '-w -s -X k8s.io/helm/pkg/version.GitCommit=147c8217c7843b53e98528f6df12890d64c696be -X k8s.io/helm/pkg/version.GitTreeState=dirty' k8s.io/helm/cmd/...

  3. ~/go/src/k8s.io/helm

  4. $ ls bin/

  5. helm rudder tiller

make bootstrap build执行完后会生成二进制文件到 $GOBIN 目录下 , 直接替换掉阿里云tiller容器内的运行发现报错

 

  1. # /tiller

  2. sh: /tiller: not found

但是本地可以运行, 搜索下 https://stackoverflow.com/questions/36279253/go-compiled-binary-wont-run-in-an-alpine-docker-container-on-ubuntu-host

发现是由于默认没有静态编译导致引用了alpine不存在的库链接

 

  1. # ldd tiller

  2. /lib64/ld-linux-x86-64.so.2 (0x55d98fa73000)

  3. libpthread.so.0 => /lib64/ld-linux-x86-64.so.2 (0x55d98fa73000)

  4. libc.so.6 => /lib64/ld-linux-x86-64.so.2 (0x55d98fa73000)

重新静态编译下, 看到Makefile默认支持交叉编译这里偷个懒

image

make TARGETS="linux/amd64" build-cross

节省时间这里就只编译需要的了, 构建好的二进制文件会在 _dist/下

qingdao666666
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
kubenetes1.16.0 安装helm报错与解决办法
宫凯宁的博客
11-26 6138
1. 安装Helm客户端 方式一： 公有云环境可以使用官方安装脚本一键安装，只需要执行如下一条命令： curl https://raw.githubusercontent.com/helm/helm/master/scripts/get |bash 方式二： 内网环境可以手动下载安装,下载地址：https://github.com/kubernetes/helm/releases tar -zx...
fabric1.2.1在make release 时报错
m0_73330863的博客
02-16 178
我使用的是go 1.16.4此时在环境变量设置好，报错can not find package "." in : /home/gwh/go/../shim 下，这个路径下是没有shim 包的正常情况下，shim包是在./fabric/core/chaincode/shim,参考很多博客都无法解决，go env 查看GO111MODULE="auto "解决方法2：删除编译路径下的go.mod文件，这里不需要这个 module模块。解决方法1：go env -w GO111MODULE=OFF。
helm list error: configmaps?labelSelector=OWNER%!D(MISSING)TILLER
海鸥
01-19 1356
root@n-1:~# helm list Error: Get https://10.96.0.1:443/api/v1/namespaces/kube-system/configmaps?labelSelector=OWNER%!D(MISSING)TILLER: dial tcp 10.96.0.1:443: i/o timeout root@n-1:~# kubectl get po -...
ICP 3.1社区版貌似这几天安装出现helm的错误，导致catalog 及helm release的图形界面功能无法使用。
openeis的专栏
12-14 527
ICP 3.1社区版貌似这几天安装出现helm的错误，导致catalog 及helm release的图形界面功能无法使用。 只能看3.1.1是否有问题了。     TASK [Creating the install lock file] ****************************************** changed: [localhost] PLAY [Down...
Helm Error: no available release name found
shida's blog
12-27 975
Helm 报这个错误 Error: no available release name found 错误的原因大概是因为 tiller 没有正确的角色权限。 执行以下命令可解决这个问题： # kubectl create serviceaccount --namespace kube-system tiller # kubectl create clusterrolebinding till...
K8S工具helm&tille镜像 rv2.9.1.tar
02-27
k8s helm工具镜像，2.9.1版本tiller不好下载，这是我从docker里考出来的，linux系统适用
helm-tiller.tar
11-19
由于谷歌被强，无法下载谷歌镜像，特此提供Helm的服务器端Tiller的镜像，该镜像可以在k8s中用于创建pod
docker_helm_tiller.tar.gz
08-01
docker_helm_tiller.tar.gz
concourse-helm-resource:从concourse.ci部署到kubernetes掌舵
05-09
从部署到。 正在安装 将资源类型添加到管道中： resource_types : - name : helm type : docker-image source : repository : linkyard/concourse-helm-resource 源配置 cluster_url ：可选。 Kubernetes Master...
helm安装代码和依赖镜像.rar
11-02
使用说明，见这篇博客，【Kubernetes】k8s的helm包管理与应用详细说明与操作【helm安装、heml仓库管理和搭建私有仓库】：https://cuichongxin.blog.csdn.net/article/details/121060695
Fabric安装中make release无法编译问题解决 no required module provides package
mkaker的博客
11-02 572
问题重现 解决方法 参考了大神的做法 在这里插入图片描述 执行： go env -w GO111MODULE=off 发现编译成功了，快乐！
ubuntu autoware执行./catkin_make_rele错：c++：internal compiler error：killed（program cc1plus）Makefile:138
zhang_xiaoqiang的博客
12-25 384
前言：今天在用源码装autoware时，最后需要用./catkin_make_release编译源码，这个错误看到killed就知道是因为内存不足，因为我是在jetson nano板子上装的，所以内存很小，只有4g，因此解决办法就是扩容，通过设置虚拟交换内存扩大内存，即将存储卡的一部分拿出来当内存用 解决方法： 1、check系统中swap的配置，查看多少可用的swap（交换空间）以及memory（内存） $ sudo swapon --show $ free -h 2、check 可用的磁盘空间 $.
Helm: Error: no available release name found
weixin_30362801的博客
07-03 376
如题，helm报这个错误 Helm: Error: no available release name found 错误的原因大概是因为 tiller没有正确的角色权限。 执行以下命令可解决这个问题。 kubectl create serviceaccount --namespace kube-system tiller kubectl create clusterrolebinding till...
helm install Error: no available release name found的解决方法
guizaijianchic的博客
05-11 3673
sudo kubectl --namespace=kube-system edit deployment/tiller-deploy 将automountServiceAccountToken修改为:true 保存退出即可 另外参考《每天5分钟玩转 Kubernetes》，可以尝试下面的方法 kubectl create serviceaccount --namespace kub...
简化Kubernetes应用部署工具-Helm之Release配置
weixin_34310369的博客
10-11 1581
本文讲的是简化Kubernetes应用部署工具-Helm之Release配置【编者的话】微服务和容器化给复杂应用部署与管理带来了极大的挑战。Helm是目前Kubernetes服务编排领域的唯一开源子项目，做为Kubernetes应用的一个包管理工具，可理解为Kubernetes的apt-get / yum，由Deis 公司发起，该公司已经被微软收购。He...
长安链GO语言智能合约环境搭建及使用
h363659487的博客
06-22 1378
长安链GO语言智能合约环境搭建及部署合约、调用合约、查询合约方法介绍
Helm的安装和调试（常见错误解决）
热门推荐
BigData_Mining的博客
03-25 3万+
Helm整体架构： 1.为什么要用？ 首先在原来项目中都是基于yaml文件来进行部署发布的，而目前项目大部分微服务化或者模块化，会分成很多个组件来部署，每个组件可能对应一个deployment.yaml,一个service.yaml,一个Ingress.yaml还可能存在各种依赖关系，这样一个项目如果有5个组件，很可能就有15个不同的yaml文件，这些yaml分散存放，如果某天进行项目恢复的话，...
Glide:Cannot detect VCS
一亩三分地
02-18 2220
采用glide进行包管理，初始化glide来下载依赖时报错了 日志 [WARN] Unable to checkout google.golang.org/appengine/cloudsql [ERROR] Error looking for google.golang.org/appengine/cloudsql: Cannot detect VCS [ERROR] Failed to ret...
[ERROR] Error looking for google.golang.org/appengine/cloudsql: Cannot detect VCS 错误解决方式
sin@
06-09 4785
今天突然在更新项目包的时候出现问题，解决方式很简单，但是找到解决方式的路很曲折，这里做一个记录在glide.yaml文件里面添加：- package: google.golang.org/appengine repo: https://github.com/golang/appengine vcs: git subpackages: - cloudsql这里的意思是google.golan...
helm chart.name 和 release.name 的关系
最新发布
06-11
`helm chart.name`和`release.name`是...例如，可以使用`helm install`命令创建一个新的Helm release，指定`helm chart.name`作为参数，Helm将创建一个新的release，并自动为该release生成一个唯一的`release.name`。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值