Kubernetes DNS服务发现

引言

Kubernetes Deployment + Service 简介
之前的文章中，我们知道了Service的ClusterIP可以用于集群内部通信，但是前提是你需要创建Service后去看IP，当Service被删除，重新创建后，IP会变动，除非固定ClusterIP。

默认情况下POD中的DNS解析配置

# 进入test-nginx容器中
kubectl exec -it test-nginx-2111384921-f53hl /bin/bash
# 查看解析配置文件
cat /etc/resolv.conf 

nameserver 103.45.188.230
nameserver 223.5.5.5
options ndots:5

搭建sky-dns

注意事项

注意：我们在创建kube2sky+skydns的deployment之前，不能修改kubelet配置
也就是说下面这个配置，暂时不要加入到kubelet配置中。
KUBELET_ARGS="--cluster-dns=10.254.10.2 --cluster-domain=cluster.local"
如果加入这个配置，则创建的所有容器组中的容器，解析文件都会变成使用10.254.10.2解析(我们给skydns配置的service ip是这个，但是此时skydns还没创建呢)，造成的结果就是skydns连接不上etcd和apiserver，然后一直异常重试连接etcd(此时就会变成容器内无法访问外网)。
它的resolv.conf内容会变成这样：

cat /etc/resolv.conf 
search default.svc.cluster.local svc.cluster.local cluster.local
nameserver 10.254.10.2
nameserver 103.45.188.230
nameserver 223.5.5.5
options ndots:5

编写yaml

其中etcd对应的2379和apiserver对应的8080，自己修改一下IP和端口。当然也可以换成coredns或者kubedns，我这里用sky的原因是集群那篇文章，环境问题，导致k8s版本是1.15。
注意这里省略掉了探针和健康检查。

apiVersion: extensions/v1beta1
kind: Deployment
metadata:
  name: kube-dns
  namespace: kube-system
spec:
  replicas: 1
  template:
    metadata:
      labels:
        name: kube-dns
        tier: platform
        subsystem: unconfirmed
        k8s-app: kube-dns
        version: v9
        partition: "no"
        kubernetes.io/cluster-service: "true"
    spec:
      containers:
      - name: kube2sky
        image: docker.io/outrider/kube2sky
        resources:
          limits:
            cpu: 100m
            memory: 50Mi
        args:
        - "--domain=cluster.local."
        - "--kube-master-url=http://10.45.187.236:8080"
        - "--etcd-server=http://10.45.187.236:2379"
      - name: skydns
        image: docker.io/skynetservices/skydns
        resources:
          limits:
            cpu: 100m
            memory: 50Mi
        args:
        - "-machines=http://10.45.187.236:2379"
        - "-addr=0.0.0.0:53"
        - "-ns-rotate=false"
        - "-domain=cluster.local."
        ports:
        - containerPort: 53
          name: dns
          protocol: UDP
        - containerPort: 53
          name: dns-tcp
          protocol: TCP
      dnsPolicy: Default
---
apiVersion: v1
kind: Service
metadata:
  name: kube-dns
  namespace: kube-system
  labels:
    k8s-app: kube-dns
    kubernetes.io/cluster-service: "true"
    kubernetes.io/name: "KubeDNS"
spec:
  selector:
    k8s-app: kube-dns
  clusterIP: 10.254.10.2 # 固定ip
  ports:
  - name: dns
    port: 53
    protocol: UDP
  - name: dns-tcp
    port: 53
    protocol: TCP

创建depolyment及service

kubectl create -f deployment.yml

修改kubelet

vim /etc/kubernetes/kubelet
# 把KUBELET_ARGS 增加下面这行代码
KUBELET_ARGS="--cluster-dns=10.254.10.2 --cluster-domain=cluster.local"

重启kubelet和kube-proxy

systemctl restart kubelet.service kube-proxy.service

重新构建nginx服务

这里就跳过了，删除原有nginx的deployment和service，重新apply或create即可。(也可以手动修改pod组中的/etc/resolv.conf文件)

测试DNS服务发现

kubectl exec -it test-nginx-2111384921-qcngb /bin/bash

# 看一下解析文件对不对
cat /etc/resolv.conf 
search default.svc.cluster.local svc.cluster.local cluster.local
nameserver 10.254.10.2 # 和我们设置KUBELET配置中的DNS解析的IP相同
nameserver 103.45.188.230
nameserver 223.5.5.5
options ndots:5

#测试(正常)
curl http://nginx-service:8081 # 因为我ClusterIP写的是8081端口

#测试外网通信(正常)
curl http://baidu.com

关于namespace

我们可以看见默认情况下容器内/etc/resolv.conf跟随kubelet配置变成了这样：
search default.svc.cluster.local svc.cluster.local cluster.local
nameserver 10.254.10.2
如果你的服务不在default的namespace下(比如nginx我创建在了myapp的namespace下)
那么此时我应该访问http://nginx-service.myapp:端口。
如果想写全，那么应该是这样的：http://nginx-service.myapp.svc.cluster.local:端口 (service名.namespace.svc.cluster.local:端口)