在k8s上搭建你自己的nacos集群

一、下载官方提供的nacos-k8s包

git clone https://github.com/nacos-group/nacos-k8s.git
复制代码

如果下载不下来可以使用gitee下载，文件内容如下所示：

二、部署NFS

Nacos在K8S拥有自动扩容缩容和数据持久特性,请注意如果需要使用这部分功能请使用PVC持久卷,Nacos的自动扩容缩容需要依赖持久卷,以及数据持久化也是一样,本例中使用的是NFS来使用PVC.

2.1 安装nfs服务

• master,node01,node02 安装 nfs-utils

  yum -y install nfs-utils rpcbind
  复制代码

• master,node01,node02添加nfs exports配置，为了解决后续的nfs报错异常

  在三个节点创建以下三个目录：

  mkdir -p /data/nfs-share
  mkdir -p /data/mysql
  
  chmod 777 /data/nfs-share
  chmod 777 /data/mysql
  复制代码

  vi /etc/exports
  复制代码

  三个节点增加以下的配置

  /data/mysql*(insecure,fsid=0,rw,async,no_root_squash)
  /data/nfs-share *(rw,fsid=0,async,no_root_squash)
  复制代码

• 启动并设置开机启动nfs：

  systemctl enable nfs
  systemctl enable rpcbind
  
  systemctl start nfs
  systemctl start rpcbind
  复制代码

2.2 创建角色

K8S命名空间不是default，请在部署RBAC之前执行以下脚本:

# Set the subject of the RBAC objects to the current namespace where the provisioner is being deployed
NS=$(kubectl config get-contexts|grep -e "^\*" |awk '{print $5}')
NAMESPACE=${NS:-default}
sed -i'' "s/namespace:.*/namespace: $NAMESPACE/g" ./deploy/nfs/rbac.yaml
复制代码

使用默认民命空间default，使用下面命令创建创建

kubectl create -f deploy/nfs/rbac.yaml
复制代码

2.3 创建 ServiceAccount 和部署 NFS-Client Provisioner

kubectl create -f deploy/nfs/deployment.yaml
复制代码

2.4 创建 NFS StorageClass

kubectl create -f deploy/nfs/class.yaml
复制代码

2.5 验证NFS部署成功

kubectl get pod -l app=nfs-client-provisioner
复制代码

如果发现pods状态一直如下，可以使用如下方式查看错误信息：

kubectl describe pods nfs-client-provisioner-9647df776-szzx8
复制代码

创建过程中可能docker镜像下载很慢，请耐心等待.

2.6 如果镜像无法下载怎么办

通过describe命令发现image一直在pulling：

可以更换deployment.yaml中的镜像地址：

registry.cn-hangzhou.aliyuncs.com/open-ali/nfs-client-provisioner:latest
复制代码

三、部署mysql

这里建议使用外部数据，如果要使用yaml安装，则使用如下方式。

修改mysql-nfs.yaml文件

apiVersion: v1
kind: ReplicationController
metadata:
  name: mysql
  labels:
    name: mysql
spec:
  replicas: 1
  selector:
    name: mysql
  template:
    metadata:
      labels:
        name: mysql
    spec:
      containers:
      - name: mysql
        image: nacos/nacos-mysql:5.7
        ports:
        - containerPort: 3306
        volumeMounts:
        - name: mysql-data
          mountPath: /var/lib/mysql
        env:
        - name: MYSQL_ROOT_PASSWORD
          value: "root"
        - name: MYSQL_DATABASE
          value: "nacos_devtest"
        - name: MYSQL_USER
          value: "nacos"
        - name: MYSQL_PASSWORD
          value: "nacos"
      volumes:
      - name: mysql-data
        nfs:
          server: 192.168.184.139
          path: /data/mysql
---
apiVersion: v1
kind: Service
metadata:
  name: mysql
  labels:
    name: mysql
spec:
  ports:
  - port: 3306
    targetPort: 3306
  selector:
    name: mysql
复制代码

查看状态：

[root@k8s-master deploy]# kubectl get pods -o wide
NAME                                      READY   STATUS    RESTARTS   AGE     IP           NODE        NOMINATED NODE   READINESS GATES
mysql-9lbkp                               1/1     Running   0          3m30s   10.244.4.9   k8s-node2   <none>           <none>
nfs-client-provisioner-557df77947-npjdt   1/1     Running   0          33m     10.244.4.2   k8s-node2   <none>           <none>
复制代码

四、部署nacos

kubectl create -f nacos/nacos-pvc-nfs.yaml
复制代码

如果出现如下问题：

使用以下方式修改，在kube-apiserver.yaml中增加以下配置，kubeadmin安装的k8s会自动重启：

vi /etc/kubernetes/manifests/kube-apiserver.yaml
复制代码

增加以下内容

- --feature-gates=RemoveSelfLink=false
复制代码

位置如下图：

修改后查看pod

删除nacos和pvc，重新创建

kubectl delete -f deploy/nacos/nacos-pvc-nfs.yaml
kubectl delete pvc datadir-nacos-0 logdir-nacos-0 plugindir-nacos-0
复制代码

4.1 重点问题

• 使用nacos-pvc-nfs.yaml方式发现仍然无法启动成功，无法挂载到指定路径，导致服务整个无法启动，这里记录一下，暂时还没发现什么问题导致的。

  所以本文先使用nacos-quick-start.yaml方式，直接启动：

  kubectl create -f nacos/nacos-quick-start.yaml
  复制代码

• 发现有一个节点是pending，是因为，k8s默认主节点master不部署服务，这里面改下配置就可以了：

  kubectl taint nodes --all node-role.kubernetes.io/master-
  复制代码

  记得使用NodePort或者Ingress的方式暴露外网访问。

• 节点启动后发现页面访问失败，使用如下方式解决

  确定pod是否成功启动，使用logs命令查看。基本都是因为服务没有起来导致无法访问。而nacos则基本是因为数据库配置导致的。注意看nacos的yaml数据库配置。

  如果启动成功，还不能解决，尝试以下方案 修改Docker启动参数，在[Service] 区域末尾加上参数：

  vi /usr/lib/systemd/system/docker.service
  
  # 添加以下配置
  ExecStartPost=/sbin/iptables -I FORWARD -s 0.0.0.0/0 -j ACCEPT
  
  systemctl daemon-reload
  systemctl restart docker