[kubernetes]-在k8s中使用NodeLocal DNSCache

于 2024-04-28 11:29:58 发布
阅读量330 收藏 2
点赞数 7
文章标签： kubernetes 容器 云原生
仅供学习参考 转载请标明出处。个人笔记为自己记录 如果对大家有帮助那也挺好 写的马虎 如果有不对的地方谢谢指正 各位大佬别喷哦
本文链接：https://blog.csdn.net/xujiamin0022016/article/details/137679841
版权

导语：在k8s中使用NodeLocal DNSCache

环境：k8s 1.22

收益参考

下载修改yaml

wget https://github.com/kubernetes/kubernetes/raw/master/cluster/addons/dns/nodelocaldns/nodelocaldns.yaml

sed -i 's/__PILLAR__DNS__SERVER__/100.64.0.10/g
s/__PILLAR__LOCAL__DNS__/169.254.20.10/g
s/__PILLAR__DNS__DOMAIN__/cluster.local/g' nodelocaldns.yaml

部署前dns测试

kubectl run -it --image busybox:1.28.3 test-dns --restart=Never --rm /bin/sh
#cat /etc/resolv.conf
#nslookup kubernetes
#nslookup youdianzhishi.com


# 如果官方镜像无法下载，可将image: registry.k8s.io/dns/k8s-dns-node-cache:1.22.18改为：image: cnych/k8s-dns-node-cache:1.22.13。

kubectl  get pod -n kube-system | grep node-local
kubectl get po node-local-dns-z85dp  -nkube-system -oyaml |grep 169.254 -C 5

这里可以看到显示从169.254.20.10解析地址，如果没有再去找100.64.0.10的。并且可以看到hostNetwork: true

需要注意的是这里使用 DaemonSet 部署 node-local-dns 使用了 hostNetwork=true，会占用宿主机的 8080 端口，所以需要保证该端口未被占用。

修改 kubelet 的 --cluster-dns 参数

# 确认当前模式
kubectl get cm kube-proxy -nkube-system -oyaml|grep mode
如果 kube-proxy 组件使用的是 ipvs 模式的话，我们还需要修改 kubelet 的 --cluster-dns 参数，将其指向 169.254.20.10，Daemonset 会在每个节点创建一个网卡来绑这个 IP，Pod 向本节点这个 IP 发 DNS 请求，缓存没有命中的时候才会再代理到上游集群 DNS 进行查询。

sed -i 's/10.96.0.10/169.254.20.10/g' /var/lib/kubelet/config.yaml
systemctl daemon-reload && systemctl restart kubelet


cat > test-node-local-dns.yaml <<EOF
apiVersion: v1
kind: Pod
metadata:
  name: test-node-local-dns
spec:
  containers:
  - name: local-dns
    image: busybox:1.28.3
    command: ["/bin/sh", "-c", "sleep 60m"]
EOF


kubectl exec -it test-node-local-dns -- sh
#  cat /etc/resolv.conf
#  nslookup youdianzhishi.com

可以看到 nameserver 已经变成 169.254.20.10 了，对于之前的历史 Pod 要想使用 node-local-dns 则需要重建

如果担心线上环境修改 --cluster-dns 参数会产生影响，我们也可以直接在新部署的 Pod 中通过 dnsConfig 配置使用新的 localdns 的地址来进行解析。

#test-node-local-dns-2.yaml
apiVersion: v1
kind: Pod
metadata:
  name: test-node-local-dns-2
spec:
  dnsPolicy: None #None的时候需要配置下面的dnsConfig
  dnsConfig:
    nameservers: # 如果dnsPolicy不等于None，则会将nameservers合并到原有的（dnsPolicy默认是ClusterFirst）
      - 169.254.20.10
    searches:
      - default.svc.cluster.local
      - svc.cluster.local
      - cluster.local
    options:
      - name: ndots
        value: "5"
  containers:
    - name: test
      image: cnych/jessie-dnsutils:1.3
      command:
        - sleep
        - "infinity"
      imagePullPolicy: IfNotPresent

修改前nodelocaldns.yaml

# Copyright 2018 The Kubernetes Authors.
#
# Licensed under the Apache License, Version 2.0 (the "License");
# you may not use this file except in compliance with the License.
# You may obtain a copy of the License at
#
#     http://www.apache.org/licenses/LICENSE-2.0
#
# Unless required by applicable law or agreed to in writing, software
# distributed under the License is distributed on an "AS IS" BASIS,
# WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
# See the License for the specific language governing permissions and
# limitations under the License.
#

apiVersion: v1
kind: ServiceAccount
metadata:
  name: node-local-dns
  namespace: kube-system
  labels:
    kubernetes.io/cluster-service: "true"
    addonmanager.kubernetes.io/mode: Reconcile
---
apiVersion: v1
kind: Service
metadata:
  name: kube-dns-upstream
  namespace: kube-system
  labels:
    k8s-app: kube-dns
    kubernetes.io/cluster-service: "true"
    addonmanager.kubernetes.io/mode: Reconcile
    kubernetes.io/name: "KubeDNSUpstream"
spec:
  ports:
  - name: dns
    port: 53
    protocol: UDP
    targetPort: 53
  - name: dns-tcp
    port: 53
    protocol: TCP
    targetPort: 53
  selector:
    k8s-app: kube-dns
---
apiVersion: v1
kind: ConfigMap
metadata:
  name: node-local-dns
  namespace: kube-system
  labels:
    addonmanager.kubernetes.io/mode: Reconcile
data:
  Corefile: |
    __PILLAR__DNS__DOMAIN__:53 {
        errors
        cache {
                success 9984 30
                denial 9984 5
        }
        reload
        loop
        bind __PILLAR__LOCAL__DNS__ __PILLAR__DNS__SERVER__
        forward . __PILLAR__CLUSTER__DNS__ {
                force_tcp
        }
        prometheus :9253
        health __PILLAR__LOCAL__DNS__:8080
        }
    in-addr.arpa:53 {
        errors
        cache 30
        reload
        loop
        bind __PILLAR__LOCAL__DNS__ __PILLAR__DNS__SERVER__
        forward . __PILLAR__CLUSTER__DNS__ {
                force_tcp
        }
        prometheus :9253
        }
    ip6.arpa:53 {
        errors
        cache 30
        reload
        loop
        bind __PILLAR__LOCAL__DNS__ __PILLAR__DNS__SERVER__
        forward . __PILLAR__CLUSTER__DNS__ {
                force_tcp
        }
        prometheus :9253
        }
    .:53 {
        errors
        cache 30
        reload
        loop
        bind __PILLAR__LOCAL__DNS__ __PILLAR__DNS__SERVER__
        forward . __PILLAR__UPSTREAM__SERVERS__
        prometheus :9253
        }
---
apiVersion: apps/v1
kind: DaemonSet
metadata:
  name: node-local-dns
  namespace: kube-system
  labels:
    k8s-app: node-local-dns
    kubernetes.io/cluster-service: "true"
    addonmanager.kubernetes.io/mode: Reconcile
spec:
  updateStrategy:
    rollingUpdate:
      maxUnavailable: 10%
  selector:
    matchLabels:
      k8s-app: node-local-dns
  template:
    metadata:
      labels:
        k8s-app: node-local-dns
      annotations:
        prometheus.io/port: "9253"
        prometheus.io/scrape: "true"
    spec:
      priorityClassName: system-node-critical
      serviceAccountName: node-local-dns
      hostNetwork: true
      dnsPolicy: Default  # Don't use cluster DNS.
      tolerations:
      - key: "CriticalAddonsOnly"
        operator: "Exists"
      - effect: "NoExecute"
        operator: "Exists"
      - effect: "NoSchedule"
        operator: "Exists"
      containers:
      - name: node-cache
        image: registry.k8s.io/dns/k8s-dns-node-cache:1.22.23
        resources:
          requests:
            cpu: 25m
            memory: 5Mi
        args: [ "-localip", "__PILLAR__LOCAL__DNS__,__PILLAR__DNS__SERVER__", "-conf", "/etc/Corefile", "-upstreamsvc", "kube-dns-upstream" ]
        securityContext:
          capabilities:
            add:
            - NET_ADMIN
        ports:
        - containerPort: 53
          name: dns
          protocol: UDP
        - containerPort: 53
          name: dns-tcp
          protocol: TCP
        - containerPort: 9253
          name: metrics
          protocol: TCP
        livenessProbe:
          httpGet:
            host: __PILLAR__LOCAL__DNS__
            path: /health
            port: 8080
          initialDelaySeconds: 60
          timeoutSeconds: 5
        volumeMounts:
        - mountPath: /run/xtables.lock
          name: xtables-lock
          readOnly: false
        - name: config-volume
          mountPath: /etc/coredns
        - name: kube-dns-config
          mountPath: /etc/kube-dns
      volumes:
      - name: xtables-lock
        hostPath:
          path: /run/xtables.lock
          type: FileOrCreate
      - name: kube-dns-config
        configMap:
          name: kube-dns
          optional: true
      - name: config-volume
        configMap:
          name: node-local-dns
          items:
            - key: Corefile
              path: Corefile.base
---
# A headless service is a service with a service IP but instead of load-balancing it will return the IPs of our associated Pods.
# We use this to expose metrics to Prometheus.
apiVersion: v1
kind: Service
metadata:
  annotations:
    prometheus.io/port: "9253"
    prometheus.io/scrape: "true"
  labels:
    k8s-app: node-local-dns
  name: node-local-dns
  namespace: kube-system
spec:
  clusterIP: None
  ports:
    - name: metrics
      port: 9253
      targetPort: 9253
  selector:
    k8s-app: node-local-dns

修改后nodelocaldns.yaml

# Copyright 2018 The Kubernetes Authors.
#
# Licensed under the Apache License, Version 2.0 (the "License");
# you may not use this file except in compliance with the License.
# You may obtain a copy of the License at
#
#     http://www.apache.org/licenses/LICENSE-2.0
#
# Unless required by applicable law or agreed to in writing, software
# distributed under the License is distributed on an "AS IS" BASIS,
# WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
# See the License for the specific language governing permissions and
# limitations under the License.
#

apiVersion: v1
kind: ServiceAccount
metadata:
  name: node-local-dns
  namespace: kube-system
  labels:
    kubernetes.io/cluster-service: "true"
    addonmanager.kubernetes.io/mode: Reconcile
---
apiVersion: v1
kind: Service
metadata:
  name: kube-dns-upstream
  namespace: kube-system
  labels:
    k8s-app: kube-dns
    kubernetes.io/cluster-service: "true"
    addonmanager.kubernetes.io/mode: Reconcile
    kubernetes.io/name: "KubeDNSUpstream"
spec:
  ports:
  - name: dns
    port: 53
    protocol: UDP
    targetPort: 53
  - name: dns-tcp
    port: 53
    protocol: TCP
    targetPort: 53
  selector:
    k8s-app: kube-dns
---
apiVersion: v1
kind: ConfigMap
metadata:
  name: node-local-dns
  namespace: kube-system
  labels:
    addonmanager.kubernetes.io/mode: Reconcile
data:
  Corefile: |
    cluster.local:53 {
        errors
        cache {
                success 9984 30
                denial 9984 5
        }
        reload
        loop
        bind 169.254.20.10 100.64.0.10
        forward . __PILLAR__CLUSTER__DNS__ {
                force_tcp
        }
        prometheus :9253
        health 169.254.20.10:8080
        }
    in-addr.arpa:53 {
        errors
        cache 30
        reload
        loop
        bind 169.254.20.10 100.64.0.10
        forward . __PILLAR__CLUSTER__DNS__ {
                force_tcp
        }
        prometheus :9253
        }
    ip6.arpa:53 {
        errors
        cache 30
        reload
        loop
        bind 169.254.20.10 100.64.0.10
        forward . __PILLAR__CLUSTER__DNS__ {
                force_tcp
        }
        prometheus :9253
        }
    .:53 {
        errors
        cache 30
        reload
        loop
        bind 169.254.20.10 100.64.0.10
        forward . __PILLAR__UPSTREAM__SERVERS__
        prometheus :9253
        }
---
apiVersion: apps/v1
kind: DaemonSet
metadata:
  name: node-local-dns
  namespace: kube-system
  labels:
    k8s-app: node-local-dns
    kubernetes.io/cluster-service: "true"
    addonmanager.kubernetes.io/mode: Reconcile
spec:
  updateStrategy:
    rollingUpdate:
      maxUnavailable: 10%
  selector:
    matchLabels:
      k8s-app: node-local-dns
  template:
    metadata:
      labels:
        k8s-app: node-local-dns
      annotations:
        prometheus.io/port: "9253"
        prometheus.io/scrape: "true"
    spec:
      priorityClassName: system-node-critical
      serviceAccountName: node-local-dns
      hostNetwork: true
      dnsPolicy: Default  # Don't use cluster DNS.
      tolerations:
      - key: "CriticalAddonsOnly"
        operator: "Exists"
      - effect: "NoExecute"
        operator: "Exists"
      - effect: "NoSchedule"
        operator: "Exists"
      containers:
      - name: node-cache
        image: harbor.deepwise.com/base/dns/k8s-dns-node-cache:1.22.23
        #image: registry.k8s.io/dns/k8s-dns-node-cache:1.22.23
        resources:
          requests:
            cpu: 25m
            memory: 5Mi
        args: [ "-localip", "169.254.20.10,100.64.0.10", "-conf", "/etc/Corefile", "-upstreamsvc", "kube-dns-upstream" ]
        securityContext:
          capabilities:
            add:
            - NET_ADMIN
        ports:
        - containerPort: 53
          name: dns
          protocol: UDP
        - containerPort: 53
          name: dns-tcp
          protocol: TCP
        - containerPort: 9253
          name: metrics
          protocol: TCP
        livenessProbe:
          httpGet:
            host: 169.254.20.10
            path: /health
            port: 8080
          initialDelaySeconds: 60
          timeoutSeconds: 5
        volumeMounts:
        - mountPath: /run/xtables.lock
          name: xtables-lock
          readOnly: false
        - name: config-volume
          mountPath: /etc/coredns
        - name: kube-dns-config
          mountPath: /etc/kube-dns
      volumes:
      - name: xtables-lock
        hostPath:
          path: /run/xtables.lock
          type: FileOrCreate
      - name: kube-dns-config
        configMap:
          name: kube-dns
          optional: true
      - name: config-volume
        configMap:
          name: node-local-dns
          items:
            - key: Corefile
              path: Corefile.base
---
# A headless service is a service with a service IP but instead of load-balancing it will return the IPs of our associated Pods.
# We use this to expose metrics to Prometheus.
apiVersion: v1
kind: Service
metadata:
  annotations:
    prometheus.io/port: "9253"
    prometheus.io/scrape: "true"
  labels:
    k8s-app: node-local-dns
  name: node-local-dns
  namespace: kube-system
spec:
  clusterIP: None
  ports:
    - name: metrics
      port: 9253
      targetPort: 9253
  selector:
    k8s-app: node-local-dns

参考：https://blog.csdn.net/weixin_39246554/article/details/129193244

爷来辣
关注
  • 7
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
k8s教程（service篇）-Node本地DNS缓存
阿甘兄
01-13 2331
讲解Node本地DNS缓存相关的概念
kubernetes 【网络组件】【3】Coredns+Nodelocaldns cache解决Coredns域名解析延迟
爱死亡机器人
07-19 3098
文章目录1. 背景2. 服务是如何工作的？3. Linux内核中的DNAT4. 问题5. 意见建议6. 内核修复7. 方案（一）：使用 TCP 协议发送 DNS 请求8. 方案（二）：避免相同五元组 DNS 请求的并发9. 方案（三） Kubernetes 集群中使用 NodeLocal DNSCache9.1 优势9.2 架构图9.3 环境检查9.4 部署9.5 两种种方案测试nodelocaldns实效性9.6 测试coredns+nodelocaldns的效果 1. 背景 【摘要】 目前18.6版
K8s服务发现组件之CoreDNS/NodeLocalDNS /kubeDNS
sre救赎之路
02-18 2093
service发现是k8s中的一个重要机制，其基本功能为：在集群内通过服务名对服务进行访问，即需要完成从服务名到ClusterIP的解析。k8s主要有两种service发现机制：环境变量和DNS。没有DNS服务的时候，k8s会采用环境变量的形式，但一旦有多个service，环境变量会变复杂，为解决该问题，我们使用DNS服务。DNS服务在kubernetes。
k8s集群配置NodeLocal DNSCache
qq_44397993的博客
01-11 1640
在当今的体系结构中，运行在 ‘ClusterFirst’ DNS 模式下的 Pod 可以连接到 kube-dns serviceIP 进行 DNS 查询。node-local-dns 接口不能绑定 kube-dns 的集群 IP 地址，因为 IPVS 负载均衡使用的接口已经占用了该地址。：集群内的服务基本都是通过域名进行访问，coredns在解析压力大时会存在慢或者丢包的情况，导致服务之间解析异常。1、 使用当前的 DNS 体系结构，如果没有本地 kube-dns/CoreDNS 实例，则具有最高。
实战：NodeLocal DNSCache安装-2023.2.23(测试成功)
weixin_39246554的博客
02-24 1128
k8s
kubernetes-k8s v1.21.2版本镜像包
11-01
IT运维、k8s、kubernetes搭建(包含kube-apiserver-v1.21.2、kube-controller-manager-v1.21.2、kube-scheduler-v1.21.2、coredns、pause、etcd、calico。。。。）
kubernetes--K8S部署.pdf
07-24
K8S部署步骤，亲测整理，基于centos7.3。喜欢的人拿走，更改主机名并加入hosts hostnamectl set-hostname k1 hostnamectl set-hostname k2 hostnamectl set-hostname k3 192.168.0.81 k1 192.168.0.82 k2 192.168....
kubernetes-oom-event-generator：当Pod的容器被OOMKilled后，生成Kubernetes事件
02-03
设计控制器侦听Kubernetes API中的新事件和事件更改。 每次收到有关事件的通知时，它都会根据事件的Reason和所涉及对象的Kind ，检查此事件是否引用“ ContainerStarted”事件。 如果是这种情况，并且Event构成了...
gauravpandey44-kubernetes-k8s.pdf
最新发布
07-03
k8s
k8s-ddns:为CoreDNS部署Kubernetes ExternalDNS
05-09
在Kubernetes（简称k8s）环境中，DNS解析是服务发现的关键部分，它使得应用能够通过服务名相互访问。CoreDNS作为Kubernetes的官方DNS服务器，负责为集群内的服务提供DNS解析服务。然而，对于集群外部的访问，比如从...
K8S DNS使用
k8seasz的博客
05-05 2354
。
NodeLocal DNS介绍及部署应用
sre救赎之路
02-18 1346
NodeLocal DNSCache 通过在集群节点上运行一个 DaemonSet 来提高 clusterDNS 性能和可靠性。处于 ClusterFirst 的 DNS 模式下的 Pod 可以连接到 kube-dns 的 serviceIP 进行 DNS 查询。通过 kube-proxy 组件添加的 iptables 规则将其转换为 CoreDNS 端点。
k8s 服务注册与发现（四）DNS解析异常问题排查
看，未来的博客
09-24 4406
本文介绍关于DNS解析异常的诊断流程、排查思路、常见解决方案和排查方法。
K8S DNS解析过程和延迟问题
阿拉斯加大闸蟹的博客
02-20 7763
5、如果本地DNS服务器本地区域文件与缓存解析都失效，则根据本地DNS服务器的设置（是否设置转发器）进行查询，如果未用转发模式，本地DNS就把请求发至13台根DNS，根DNS服务器收到请求后会判断这个域名（.com）是谁来授权管理，并会返回一个负责该顶级域名服务器的一个IP。本地DNS服务器收到IP信息后，将会联系负责.com域的这台服务器。6、如果用的是转发模式，此DNS服务器就会把请求转发至上一级DNS服务器，由上一级服务器进行解析，上一级服务器如果不能解析，或找根DNS或把请求转至上上级，以此循环。
终于解决 k8s 集群中部署 nodelocaldns 的问题
p15097962069的博客
02-03 720
终于解决 k8s 集群中部署 nodelocaldns 的问题
在 Kubernetes 集群中使用 NodeLocal DNSCache
小楼一夜听春雨，深巷明朝卖杏花
02-17 1692
之前在解决 CoreDNS 的5秒超时问题的时候，除了通过dnsConfig去强制使用 tcp 方式解析之外，我们提到过使用NodeLocal DNSCache来解决这个问题。NodeLocal DNSCache通过在集群节点上运行一个 DaemonSet 来提高 clusterDNS 性能和可靠性。处于ClusterFirst的 DNS 模式下的 Pod 可以连接到kube-dns的 serviceIP 进行 DNS 查询。通过kube-proxy组件添加的iptables规则将...
k8s 自定义dns_Kubernetes之配置与自定义DNS服务
weixin_29075633的博客
01-27 1093
本文解释如何为kubernetes集群配置及自定义DNS服务。从kubernetes1.11版本开始，coreDNS插件被包含在GA发行版中，并且被kubeadm默认安装。详情：Configuring CoreDNS and Using CoreDNS for Service Discovery。除特别说明，本文讨论的是默认dns插件。介绍Kubernetes的DNS功能以插件形式提供，是自动启动...
经GitHub将kubernetes镜像推送到阿里云
小云的博客
04-18 512
背景 在安装kubernetes时会出现无法访问镜像站的情况，通过GitHub将kubernetes镜像推送到阿里云之后，即可使用阿里云地址引用所需镜像，现已同步镜像5000+，当前还在陆续同步。仓库使用 Github Action 每天自动运行脚本同步镜像到阿里云。代码仓库 https://github.com/cby-chen/sys_images若有需要自行研究 后...
K8S 1.18.6对应的kubernetes-cni插件版本
06-03
Kubernetes版本和CNI插件版本之间的对应关系可以参考Kubernetes官方文档中的CNI插件支持矩阵。根据文档中的描述，Kubernetes 1.18.6版本建议使用如下版本的CNI插件： - CNI插件版本：v0.8.6 - CNI-IPAM插件版本：v0.7.6 需要注意的是，不同版本的CNI插件可能存在差异，因此在安装和配置CNI插件时，应该根据实际的Kubernetes版本和网络需求进行选择和配置。同时，也可以通过使用Kubernetes官方提供的工具来自动化地安装和部署CNI插件。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

爷来辣

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值