【Kubernetes】Helm--包管理工具

Mo_nor

已于 2024-06-15 17:26:42 修改

阅读量813

点赞数 30

文章标签： kubernetes 容器云原生

于 2024-06-13 00:07:13 首次发布

本文链接：https://blog.csdn.net/mo_nor/article/details/139494382

版权

微服务是什么？

微服务把大包解耦成小包，使用的时候使用java -jar包启动服务

Helm

什么是Helm？

在没使用 helm 之前，向 kubernetes 部署应用，我们要依次部署 deployment、svc 等，步骤较繁琐。况且随着很多项目微服务化，复杂的应用在容器中部署以及管理显得较为复杂，helm 通过打包的方式，支持发布的版本管理和控制，很大程度上简化了 Kubernetes 应用的部署和管理。

Helm 本质就是让 K8s 的应用管理（Deployment、Service 等）可配置，可以通过类似于传递环境变量的方式能动态生成。通过动态生成 K8s 资源清单文件（deployment.yaml、service.yaml）。然后调用 Kubectl 自动执行 K8s 资源部署。

Helm 的三个概念

Helm 是官方提供的类似于 YUM 的包管理器，是部署环境的流程封装。
Helm 有三个重要的概念：Chart 、Repository 和 Release

●Chart：Helm 的软件包，采用 TAR 格式。类似于 APT 的 DEB 包或者 YUM 的 RPM 包，其包含了一组定义 Kubernetes 资源相关的 YAML 文件。

●Repository（仓库）：Helm 的软件仓库，Repository 本质上是一个 Web 服务器，该服务器保存了一系列的 Chart 软件包以供用户下载，并且提供了一个该 Repository 的 Chart 包的清单文件以供查询。Helm 可以同时管理多个不同的 Repository。

●Release：使用 helm install 命令在 Kubernetes 集群中部署的 Chart 称为 Release。可以理解为 Helm 使用 Chart 包部署的一个应用实例。一个 chart 通常可以在同一个集群中安装多次。每一次安装都会创建一个新的 release。
以 MySQL chart 为例，如果你想在你的集群中运行两个数据库，你可以安装该 chart 两次。每一个数据库都会拥有它自己的 release 和 release name。可以将 release 想象成应用程序发布的版本号。

总结：Helm 安装 charts 到 Kubernetes 集群中，每次安装都会创建一个新的release；

你可以在Helm 的chart repositories 中寻找新的chart

Helm3和Helm2的区别？

Helm2 是 C/S 架构，主要分为客户端 helm 和服务端 Tiller。在 Helm 2 中，Tiller 是作为一个 Deployment 部署在 kube-system 命名空间中，很多情况下，我们会为 Tiller 准备一个 ServiceAccount ，这个 ServiceAccount 通常拥有集群的所有权限。
用户可以使用本地 Helm 命令，自由地连接到 Tiller 中并通过 Tiller 创建、修改、删除任意命名空间下的任意资源。

在 Helm 3 中，Tiller 被移除了。新的 Helm 客户端会像 kubectl 命令一样，读取本地的 kubeconfig 文件，使用我们在 kubeconfig 中预先定义好的权限来进行一系列操作。

helm2：有客户端和Tiller组件
helm3：少了一个转发，多了验证，更安全
heml3 的兼容性更好，一般使用heml3

Helm 的官方网站：https://helm.sh/

一、部署Helm

1、安装Helm

下载二进制 Helm client 安装包

下载 Helm client 安装包

cd /opt/
#添加 helm-v3.6.0-linux-amd64.tar.gz 安装包

cd /opt/
#解压
tar xf helm-v3.6.0-linux-amd64.tar.gz
#移动helm到/user/local/bin下
mv /opt/linux-amd64/helm /usr/local/bin/helm
#查看helm 版本
helm version

设置命令补全

vim ~/.bashrc
#在末尾添加
source <(helm completion bash)

#刷新生效；helm的命令就可以补全了
source

2、使用Helm安装chart

添加dns解析（加快chart的下载）

vim /etc/resolv.conf

nameserver 192.168.67.30
nameserver 218.2.135.1
nameserver 61.147.37.1

添加常用的 chart 仓库

helm repo add bitnami https://charts.bitnami.com/bitnami
helm repo add stable http://mirror.azure.cn/kubernetes/charts
helm repo add aliyun https://kubernetes.oss-cn-hangzhou.aliyuncs.com/charts
#第四个会很慢
helm repo add incubator https://charts.helm.sh/incubator

3、charts列表的增删改查

更新chart列表

#更新 charts 列表并查看
helm repo update
helm repo list

查看 stable 仓库可用的 charts 列表

helm search repo stable

在 Helm 仓库中搜索以 "bitnami/redis" 开头的软件包，并列出相关的结果（名称、版本号等信息）

#在 Helm 仓库中搜索以 "bitnami/xxx" 开头的软件包，并列出
helm search repo bitnami/nginx
helm search repo bitnami/redis

删除 insubator 仓库

#删除 incubator 仓库
helm repo remove incubator

#查看 charts 列表
helm repo list

查看 chart 信息

#查看指定 chart 的基本信息
helm show chart stable/mysql

#获取指定 chart 的所有信息
helm show all stable/mysql

4、安装chart

#指定 release 的名字为 my-redis，-n 指定部署到 k8s 的 namespace
helm install my-redis bitnami/redis -n default

#不指定 release 的名字时，需使用 –generate-name 随机生成一个名字
helm install bitnami/redis --generate-name

查看所有 release

helm ls 
helm list

查看指定的release 状态

helm status my-redis

删除指定的release

helm uninstall my-redis

二、Helm 自定义模板

charts 除了可以在 repo 中下载，还可以自己自定义，创建完成后通过 helm 部署到 k8s。

1、拉取 chart

mkdir /opt/helm
cd /opt/helm

#拉取mysql的chart并查看
helm pull stable/mysql
ls

#解压
tar xf mysql-1.6.9.tgz
ls

#安装tree
yum -y install tree
#查看mysql的目录结构
tree mysql

mysql
├── Chart.yaml                                 #包含 chart 的元数据
├── README.md                                  #提供关于 chart 的信息和使用说明
├── templates                                  #包含 chart 的模板文件
│   ├── configurationFiles-configmap.yaml      #配置文件的 ConfigMap 模板
│   ├── deployment.yaml                        #Deployment 资源的模板
│   ├── _helpers.tpl                           #辅助模板文件
│   ├── initializationFiles-configmap.yaml     #初始化文件的 ConfigMap 模板
│   ├── NOTES.txt                              #安装后的说明和注意事项
│   ├── pvc.yaml                               #PersistentVolumeClaim 资源的模板
│   ├── secrets.yaml                           #Secret 资源的模板
│   ├── serviceaccount.yaml                    #ServiceAccount 资源的模板
│   ├── servicemonitor.yaml                    #ServiceMonitor 资源的模板
│   ├── service.yaml                           #Service 资源的模板
│   ├── ingress.yaml                           #Ingress 资源的模板
│   └── tests                                  #包含测试相关的模板文件
│       ├── test-configmap.yaml
│       └── test.yaml
└── values.yaml                                #包含 chart 的默认配置值

#通过这个结构，我们可以看到 Helm chart 是如何组织和管理 Kubernetes 应用程序的部署配置的。用户可以根据需要编辑这些文件，以自定义应用程序的行为和配置。

可以看到，一个 chart 包就是一个文件夹的集合，文件夹名称就是 chart 包的名称。

chart 是包含至少两项内容的helm软件包：

（1）软件包自描述文件 Chart.yaml，这个文件必须有 name 和 version（chart版本）的定义
（2）一个或多个模板，其中包含 Kubernetes 清单文件：

●NOTES.txt：chart 的“帮助文本”，在用户运行 helm install 时显示给用户
●deployment.yaml：创建 deployment 的资源清单文件
●service.yaml：为 deployment 创建 service 的资源清单文件
●ingress.yaml: 创建 ingress 对象的资源清单文件
●_helpers.tpl：放置模板助手的地方，可以在整个 chart 中重复使用

Helm Chart结构

Chart.yaml

这是 Helm chart 的自描述文件，它包含了 chart 的基本信息。

必须包含 name 字段，用于指定 chart 的名称。

必须包含 version 字段，用于指定 chart 的版本号。

还可以包含其他元数据，如描述、图标、维护者信息等。

模板

Helm chart 包含一个或多个模板，这些模板是 Kubernetes 资源清单文件的文本模板。
模板中可以包含 Go 模板语法，用于动态生成 Kubernetes 清单文件。
模板会根据 values.yaml 文件中的值进行填充和处理，生成最终的 Kubernetes 资源清单。

具体模板文件

NOTES.txt：这是一个文本文件，包含安装 chart 后显示给用户的信息，通常包括配置提示、使用说明等。
deployment.yaml：这个模板定义了一个 Kubernetes Deployment 资源，用于指定如何部署应用程序的副本。
service.yaml：这个模板定义了一个 Kubernetes Service 资源，通常用于提供对 Deployment 的网络访问。
ingress.yaml：这个模板定义了一个 Kubernetes Ingress 资源，用于管理外部访问到 Service 的路由。
_helpers.tpl：这个文件包含可重用的模板助手函数，可以在 chart 的其他模板中调用。

通过这些组件，Helm charts 为 Kubernetes 应用程序的部署提供了一种标准化和自动化的方法。用户可以通过修改 values.yaml 文件和模板来定制应用程序的部署，然后使用 Helm 命令进行部署和管理。

2、创建自定义的 chart

helm create nginx

tree nginx

cat nginx/templates/deployment.yaml

#在 templates 目录下 yaml 文件模板中的变量（go template语法）的值默认是在 nginx/values.yaml 中定义的，只需要修改 nginx/values.yaml 的内容，也就完成了 templates 目录下 yaml 文件的配置。

比如在 deployment.yaml 中定义的容器镜像：
image: "{{ .Values.image.repository }}:{{ .Values.image.tag | default .Chart.AppVersion }}"

cat nginx/values.yaml | grep repository
  repository: nginx

#以上变量值是在 create chart 的时候就自动生成的默认值，你可以根据实际情况进行修改。

cat nginx/templates/deployment.yaml

cat nginx/values.yaml |grep repository

3、修改 chart

vim nginx/Chart.yaml

apiVersion: v2
name: nginx                     #chart名字
description: A Helm chart for Kubernetes
type: application               #chart类型，application或library
version: 0.1.0                  #chart版本
appVersion: 1.16.0              #application部署版本

vim nginx/values.yaml
replicaCount: 1

image:
  repository: nginx
  pullPolicy: IfNotPresent
  tag: "latest"                #设置镜像标签

imagePullSecrets: []
nameOverride: ""
fullnameOverride: ""

serviceAccount:
  create: true
  annotations: {}
  name: ""

podAnnotations: {}

podSecurityContext: {}
  # fsGroup: 2000

securityContext: {}
  # capabilities:
  #   drop:
  #   - ALL
  # readOnlyRootFilesystem: true
  # runAsNonRoot: true
  # runAsUser: 1000

service:
  type: ClusterIP
  port: 80

ingress:
  enabled: true                 #开启 ingress
  className: ""
  annotations: {}
    # kubernetes.io/ingress.class: nginx
    # kubernetes.io/tls-acme: "true"
  hosts:
    - host: www.kgc.com         #指定ingress域名
      paths:
        - path: /
          pathType: Prefix      #指定ingress路径类型
  tls: []
  #  - secretName: chart-example-tls
  #    hosts:
  #      - chart-example.local

resources:
  limits:
    cpu: 100m
    memory: 128Mi
  requests:
    cpu: 100m
    memory: 128Mi

autoscaling:
  enabled: false
  minReplicas: 1
  maxReplicas: 100
  targetCPUUtilizationPercentage: 80
  # targetMemoryUtilizationPercentage: 80

nodeSelector: {}

tolerations: []

affinity: {}

#修改

#设置镜像标签

#开启 ingress

#指定ingress域名和路径类型

#开启限制

4、打包 chart

#检查依赖和模版配置是否正确
helm lint nginx

#过滤查看Chart.yaml 中的内容（不以#开头的非空行）
grep -v '^#' nginx/Chart.yaml | grep -v '^$'

#打包 chart，会在当前目录下生成压缩包 nginx-0.1.0.tgz
#包名受 nginx/Chart.yaml 中的内容控制
helm package nginx

5、部署 chart

#使用 --dry-run 参数验证 Chart 的配置，并不执行安装
helm install nginx ./nginx --dry-run --debug

#部署 chart，release 版本默认为 1
helm install nginx ./nginx -n default
#或者
helm install nginx ./nginx-0.1.0.tgz

#查看charts
helm ls

kubectl get pod,svc

#可根据不同的配置来 install，默认是 values.yaml
helm install nginx ./nginx -f ./nginx/values-prod.yaml

6、部署 ingress

#下载 Ingress-Nginx 的配置文件 mandatory.yaml 和 service-nodeport.yaml
wget https://gitee.com/mirrors/ingress-nginx/raw/nginx-0.30.0/deploy/static/mandatory.yaml
wget https://gitee.com/mirrors/ingress-nginx/raw/nginx-0.30.0/deploy/static/provider/baremetal/service-nodeport.yaml

#创建资源；部署 Ingress 控制器和 NodePort 类型的 Service
kubectl apply -f mandatory.yaml

kubectl apply -f service-nodeport.yaml

kubectl get pod,svc -n ingress-nginx

kubectl get ingress

#添加映射
vim /etc/hosts

#访问
curl www.test.com:30010

7、升级Helm Chart

修改为 NodePort 访问后，升级

vim nginx/values.yaml
#修改下面内容 (40行)
service:
  type: NodePort
  port: 80
  nodePort: 30080

ingress:
  enabled: false

vim nginx/templates/service.yaml
apiVersion: v1
kind: Service
metadata:
  name: {{ include "nginx.fullname" . }}
  labels:
    {{- include "nginx.labels" . | nindent 4 }}
spec:
  type: {{ .Values.service.type }}
  ports:
    - port: {{ .Values.service.port }}
      targetPort: http
      protocol: TCP
      name: http
      #指定 nodePort
      nodePort: {{ .Values.service.nodePort }}
  selector:
    {{- include "nginx.selectorLabels" . | nindent 4 }}

升级release，release版本加1

helm upgrade nginx nginx

kubectl get svc

#访问
curl 192.168.67.30：30080

8、回滚

#根据 release 版本回滚

#查看 release 版本历史
helm history nginx

#回滚 release 到版本1
helm rollback nginx 1

#确认 release 是否已经成功回滚到指定版本
helm history nginx

#通常情况下，在配置好 templates 目录下的 kubernetes 清单文件后，后续维护一般只需要修改 Chart.yaml 和 values.yaml 即可。

Chart.yaml：更新 chart 的元数据，如版本号、描述等。

values.yaml：调整或添加配置参数，这些参数将应用于模板中，以定制 Kubernetes 资源的行为。

9、更新nginx版本

//在命令行使用 --set 指定参数来部署（install,upgrade）release

#注：此参数值会覆盖掉在 values.yaml 中的值，如需了解其它的预定义变量参数，可查看 helm 官方文档。

#例如，要将 Nginx chart 的镜像标签升级到 1.15，可以使用以下命令
helm upgrade nginx nginx --set image.tag='1.15'

查看版本
nginx/values.yaml 这里的版本会被修改

Helm 提供了灵活的方式来管理和维护 Kubernetes 应用程序的部署。
通过回滚功能，可以轻松撤销更改；通过 --set 参数，可以在部署或升级时动态调整配置

三、helm仓库

环境准备

#拿一台新的服务器部署harbor服务
harbor：192.168.67.14

安装docker

Harbor 是一个基于容器的镜像仓库，用于存储和管理 Docker 镜像。
因此，为了使用 Harbor，需要先安装 Docker 引擎

#关闭防火墙
systemctl stop firewalld
setenforce 0

yum install -y yum-utils device-mapper-persistent-data lvm2 

yum-config-manager --add-repo https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo

##安装20版本
yum install -y docker-ce-20.10.18 docker-ce-cli-20.10.18 containerd.io

#启动并设置开机自启
systemctl start docker.service
systemctl enable docker.service

#查看版本
docker version

安装 harbor

#上传 harbor-offline-installer-v1.9.1.tgz 和 docker-compose 文件到 /opt 目录

cd /opt
#添加执行权限
chmod +x docker-compose
cp docker-compose /usr/local/bin/
ls /usr/local/bin/docker-compose

#如果安装最新版的Docker需要安装高版本的Docker-Compose
curl -SL https://github.com/docker/compose/releases/download/v2.27.0/docker-compose-linux-x86_64 -o /usr/local/bin/docker-compose


wget https://storage.googleapis.com/harbor-releases/release-1.9.0/harbor-offline-installer-v1.9.1.tgz


#解压
tar zxf harbor-offline-installer-v1.9.1.tgz
cd harbor/

vim harbor.yml

hostname: 192.168.10.19
harbor_admin_password: Harbor12345     #admin用户初始密码
data_volume: /data                     #数据存储路径，自动创建
chart:
  absolute_url: enabled                #在chart中启用绝对url
log:
  level: info
  local:
    rotate_count: 50
    rotate_size: 200M
    location: /var/log/harbor          #日志路径

#安装带有 Clair service 和 chart 仓库服务的 Harbor

./install.sh --with-clair --with-chartmuseum

安装 push 插件

#在线安装
helm plugin install https://github.com/chartmuseum/helm-push

#离线安装
wget https://github.com/chartmuseum/helm-push/releases/download/v0.8.1/helm-push_0.8.1_linux_amd64.tar.gz

mkdir ~/.local/share/helm/plugins/helm-push
tar -zxvf helm-push_0.8.1_linux_amd64.tar.gz -C ~/.local/share/helm/plugins/helm-push

helm repo ls

离线安装 Helm Push 插件：

下载插件压缩包 helm-push_0.8.1_linux_amd64.tar.gz。

解压缩并将其放置在 ~/.local/share/helm/plugins/helm-push 目录下

k8s：master：
helm 局域网，使用helm来安装我们的服务，你要使用私有仓库的方式完成helm部署；
然后连接到Harbor仓库

需要安装 helm 中的 helmpush 插件（一般安装在运维机器上，ansible监控上）；
然后连接到Harbor仓库

配置Helm仓库

登录 Harbor WEB UI 界面，创建一个新项目

登录到 Harbor 的 Web UI 界面，并创建一个新项目 chart_repo。
浏览器访问：http://192.168.246.9/ ，默认的管理员用户名和密码是 admin/Harbor12345
点击 “+新建项目” 按钮填写项目名称为 “chart_repo”，访问级别勾选 “公开”，点击 “确定” 按钮，创建新项目

添加仓库

helm repo add harbor http://192.168.246.9/chartrepo/chart_repo --username=admin --password=Harbor12345

#注：这里的 repo 的地址是<Harbor URL>/chartrepo/<项目名称>，Harbor 中每个项目是分开的 repo。如果不提供项目名称，则默认使用 library 这个项v

推送 chart 到 harbor 中

cd /opt/helm
helm push nginx harbor   #使用 helm push 命令将 chart 推送到 Harbor 仓库

切换到包含 Helm chart 的目录。

#使用 helm push 命令将 chart 推送到 Harbor 仓库

查看 chart_repo 项目中的 Helm Charts

在 Harbor 的 Web UI 界面中查看 chart_repo 项目，确认已成功推送的 Helm Charts

通过这些步骤，可以将自定义的 Helm charts 推送到本地的 Harbor 仓库中，从而实现 Helm charts 的存储、管理和分发。Harbor 作为一个企业级的 Docker Registry 管理项目，也支持 Helm charts 的存储和分发，这使得它成为 Kubernetes 环境中管理 Helm charts 的理想选择。

总结

Helm 是k8s 的软件包（chart包）管理器

三个概念

①chart helm 的软件包；tar 包格式，定义了k8s 各种资源对象yaml 配置文件

②仓库Repository；保存chart 的仓库

③实例 Release；通过helm install 部署的chart 实例

helm命令

helm pull 拉取
helm push 推送
helm create 创建 chart 目录
helm package 把chart 目录进行打包
helm install 安装实例名称 chart 目录或者tar包 [-f 配置文件] [-n 命名空间] 部署实例
helm upgrade [--set 字段=值升级 1] 来更新/升级示例
helm history 查看实例的历史记录
helm rollback 回滚实例的版本
helm status 查看实例状态
helm uninstall 卸载实例

命令	含义
Completion	命令补全
Create	创建一个给定名称的Chart
Get	获取给定Release的扩展信息
Dependency	管理Chart的依赖关系
Env	Helm环境信息
Help	命令帮助
History	获取Release历史
Install	部署Chart
Lint	对Chart进行语法检查
List	Release列表，List可简写成Ls
Package	打包Chart
Plugin	Install、List、UnInstall、Helm插件
Pull	从Repo中下载Chart并（可选）将其解压到本地目录
Repo	ADD、List、Remove、Update、Index、Helm的Repo
RollBack	回滚Release到一个以前的版本
Search	查询在Charts中的关键字
Show	显示Chart的信息
Status	显示给定Release的状态
Template	本地渲染模板
Test	测试运行Release
Uninstall	删除Release
Upgrade	升级Release
Verify	验证给定路径的Chart是否已签名且有效
Version	显示Helm的版本信息