K8S 中创建 etcd 集群

目标： 单节点 etcd 服务， k8s中启动etcd集群，创建 root 用户， 启用鉴权； 通过命令行客户端访问数据。

K8s 集群内部有内置的 etcd 集群，但这个集群由于是 k8s 内部使用的，出于安全的原因不对外开放，也不建议应用来访问这个集群。

通常使用 etcd 的话，自己创建集群。 开发环境可以使用单进程的服务。

如下第1，2 步是启动单进程的服务（单节点）并创建用户。 第4步是启动 etcd 集群。

# 1.启动服务

etcd

# 2.连接 etcd 服务，创建 root 用户，启用 auth

export ETCDCTL_API=3

ENDPOINTS=localhost:2379

etcdctl --endpoints=${ENDPOINTS} role add root

etcdctl --endpoints=${ENDPOINTS} role get root

etcdctl --endpoints=${ENDPOINTS} user add root

etcdctl --endpoints=${ENDPOINTS} user grant-role root root

etcdctl --endpoints=${ENDPOINTS} user get root

etcdctl --endpoints=${ENDPOINTS} auth enable

# now all client requests go through auth

# 3.Working with users

The user subcommand for etcdctl handles all things having to do with user accounts.

A listing of users can be found with:

$ etcdctl user list

Creating a user is as easy as

$ etcdctl user add myusername

Creating a new user will prompt for a new password. The password can be supplied from standard input when an option --interactive=false is given. --new-user-password can also be used for supplying the password.

Roles can be granted and revoked for a user with:

$ etcdctl user grant-role myusername foo

$ etcdctl user revoke-role myusername bar

The user’s settings can be inspected with:

$ etcdctl user get myusername

And the password for a user can be changed with

$ etcdctl user passwd myusername

$etcdctl --endpoints=${ENDPOINTS} --user=root --password=12345 put current-year 2022

$etcdctl --endpoints=${ENDPOINTS} --user=root --password=12345 get current-year

# 4. 如何创建多实例 etcd 集群

先创建 etcd 集群root账号的密码, create secret for etcd:

kubectl --namespace=my-cluster create secret generic etcd-server --from-literal=etcd-root-password=12345

创建的 Secret name: etcd-server, key: etcd-root-password

helm repo add bitnami https://charts.bitnami.com/bitnami

helm pull bitnami/etcd

mv etcd etch-server

helm install -n my-cluster -f ./etcd-server/values.yaml --set replicaCount=3 etcd-server  etcd-server

每一个实例启动的时候，都会指定  --initial-cluster 参数来配置静态的初始集群：

Clustering Guide | etcd

默认 values.yaml 里面的 auth.rbac.enabled 配置是true, 会设置 root 账号的密码。 前面创建的secret 和 key 是给到 etcd auth 用的。

通过 bitnami 的 etcd helm 启动etcd集群之后，会有提示在集群内可以访问的域名。

** Please be patient while the chart is being deployed **

etcd can be accessed via port 2379 on the following DNS name from within your cluster:

    etcd-server.my-cluster.svc.cluster.local

To create a pod that you can use as a etcd client run the following command:

    kubectl run etcd-server-client --restart='Never' --image docker.io/bitnami/etcd:3.5.1-debian-10-r56 --env ROOT_PASSWORD=$(kubectl get secret --namespace my-cluster etcd-server -o jsonpath="{.data.etcd-root-password}" | base64 --decode) --env ETCDCTL_ENDPOINTS="etcd-server.my-cluster.svc.cluster.local:2379" --namespace my-cluster --command -- sleep infinity

Then, you can set/get a key using the commands below:

    kubectl exec --namespace  my-cluster -it etcd-server-client -- bash

    etcdctl --user root:$ROOT_PASSWORD put /message Hello

    etcdctl --user root:$ROOT_PASSWORD get /message

To connect to your etcd server from outside the cluster execute the following commands:

    kubectl port-forward --namespace my-ecluster svc/etcd-server 2379:2379 &

    echo "etcd URL: http://127.0.0.1:2379"

可以查看 pod 的环境变量：

kubectl --namespace my-cluster describe pods etcd-server-0

ETCD_INITIAL_CLUSTER:              etcd-server-0=http://etcd-server-0.etcd-server-headless.my-cluster.svc.cluster.local:2380,etcd-server-1=http://etcd-server-1.etcd-server-headless.my-cluster.svc.cluster.local:2380,etcd-server-2=http://etcd-server-2.etcd-server-headless.my-cluster.svc.cluster.local:2380

# 5. request cluster ID mismatch 的问题解决

如果遇到 etcd: request cluster ID mismatch 的错误。 说明集群里面有初始的状态信息（脏数据）。

此时etcd节点都已经启动，但是无法连接，有request cluster ID mismatch报错。

找到每个节点的etcd数据存储目录，

# cat /etc/etcd/etcd.conf

删除各节点/var/lib/etcd/default.etcd，重启etcd即可解决。

由于删除的是数据存储目录，不是新建etcd集群，或者有重要数据的不可直接删除。

也可以uninstall etcd deployment， 然后清理 PVC, PV。 再重新指定 replicaCount 数量部署集群.

# 6.如何干净地清理 kubernetes 集群上的 etcd ？

如果要彻底 delete/uninstall etcd 集群，uninstall 之后还要清理pvc, pv。 否则账户角色信息还会有留存。

kubectl --namespace my-cluster get pvc

kubectl --namespace my-cluster get pv

kubectl --namespace my-cluster delete pvc xxxx zzzz

kubectl --namespace my-cluster delete pv xxxx zzzz