coredns + etcd 高可用方案

1. 结构图

• nginx 作为入口，监听53端口，做负载
• nginx代理多个coredns服务
• Etcd集群部署

2. 部署etcd 集群 参考官方文档

我本机测试用的docker部署

• 构建网络

 docker network create --driver bridge --subnet=10.2.36.0/24 --gateway=10.2.36.1 mynet

• 节点一

docker run -d \
-p 2479:2379 \
-p 2381:2380 \
--name node1 \
--network=mynet \
--ip 10.2.36.1 \
quay.io/coreos/etcd:v3.3.1 \
etcd \
-name node1 \
-advertise-client-urls http://10.2.36.1:2379 \
-initial-advertise-peer-urls http://10.2.36.1:2380 \
-listen-client-urls http://0.0.0.0:2379 -listen-peer-urls http://0.0.0.0:2380 \
-initial-cluster-token etcd-cluster \
-initial-cluster "node1=http://10.2.36.1:2380,node2=http://10.2.36.2:2380,node3=http://10.2.36.3:2380" \
-initial-cluster-state new

• 节点二

docker run -d \
-p 2579:2379 \
-p 2382:2380 \
--name node2 \
--network=mynet \
--ip 10.2.36.2 \
quay.io/coreos/etcd:v3.3.1 \
etcd \
-name node2 \
-advertise-client-urls http://10.2.36.2:2379 \
-initial-advertise-peer-urls http://10.2.36.2:2380 \
-listen-client-urls http://0.0.0.0:2379 -listen-peer-urls http://0.0.0.0:2380 \
-initial-cluster-token etcd-cluster \
-initial-cluster "node1=http://10.2.36.1:2380,node2=http://10.2.36.2:2380,node3=http://10.2.36.3:2380" \
-initial-cluster-state new

• 节点三

docker run -d \
-p 2679:2379 \
-p 2383:2380 \
--name node3 \
--network=mynet \
--ip 10.2.36.3 \
quay.io/coreos/etcd:v3.3.1 \
etcd \
-name node3 \
-advertise-client-urls http://10.2.36.3:2379 \
-initial-advertise-peer-urls http://10.2.36.3:2380 \
-listen-client-urls http://0.0.0.0:2379 -listen-peer-urls http://0.0.0.0:2380 \
-initial-cluster-token etcd-cluster \
-initial-cluster "node1=http://10.2.36.1:2380,node2=http://10.2.36.2:2380,node3=http://10.2.36.3:2380" \
-initial-cluster-state new

• 查看集群状态

HOST_1=10.2.36.1
HOST_2=10.2.36.2
HOST_3=10.2.36.3
ENDPOINTS=$HOST_1:2379,$HOST_2:2379,$HOST_3:2379
etcdctl --endpoints=$ENDPOINTS member list

注：etcd 各个参数含义，请前往官网查阅

3. CoreDns 部署

配置文件

.:1053 {
   etcd {   # 配置启用etcd插件,后面可以指定域名,例如 etcd test.com {
     stubzones # 启用存根区域功能。 stubzone仅在位于指定的第一个区域下方的etcd树中完成
     path /skydns # etcd里面的路径 默认为/skydns，以后所有的dns记录就是存储在该存根路径底下
     endpoint http://10.2.36.1:2379 http://10.2.36.2:2379 http://10.2.36.3:2379 # 这里填写上面部署的etcd集群地址，中间空格分隔
       # upstream设置要使用的上游解析程序解决指向外部域名的在etcd（认为CNAME）中找到的外部域名。
     upstream 8.8.8.8:53 8.8.4.4:53 /etc/resolv.conf
     fallthrough # 如果区域匹配但不能生成记录，则将请求传递给下一个插件
       # tls CERT KEY CACERT # 可选参数，etcd认证证书设置
   }
#   prometheus  # 监控插件
   cache 160
   loadbalance   # 负载均衡，开启DNS记录轮询策略
   forward . 8.8.8.8:53 8.8.4.4:53 /etc/resolv.conf  # 上面etcd未查询到的请求转发给设置的DNS服务器解析
   log # 打印日志
}

此处我配置了两个CoreDns 服务，分别监听1053 和 2053端口

4. nginx 配置

# Load balance UDP-based DNS traffic across two servers
stream {
    upstream dns_upstreams {
        server 127.0.0.1:1053; 
        server 127.0.0.1:2053;
    }
    server {
        listen 53 udp;
        proxy_pass dns_upstreams;
        proxy_timeout 1s;
        proxy_responses 1;
        error_log logs/dns.log;
    }
}

• 监听UDP 53端口
• 负载 上述部署的 CoreDns 1053 和 2053端口