（六）k8s-----ipvs，iptables调度算法，DNS服务(kube-dns,coredns)

已于 2023-11-06 14:24:59 修改
阅读量1.1k 收藏 2
点赞数 2
分类专栏： k8s 文章标签： k8s
于 2021-07-08 16:07:39 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45697293/article/details/118575381
版权

文章目录

ipvs和iptables

介绍

pod之间的通信：
同一节点的pod之间通过cni网桥转发数据包。
不同节点的pod之间的通信需要网络插件支持。

pod和service通信: 通过iptables或ipvs实现通信，ipvs取代不了iptables，因为ipvs只能做负载均衡，而做不了nat转换。

pod和外网通信： iptables的MASQUERADE。

Service与集群外部客户端的通信：ingress、nodeport、loadbalancer
https://github.com/kubernetes/kubernetes/tree/master/pkg/proxy/ipvs

IPVS模式在Kubernetes v1.8中引入alpha版本，在v1.9中处于beta版本，在v1.11中处于GA(也就是release版本，国外都是说GA版本)版本，IPTABLES模式已在v1.1中添加，并成为v1.2之后的默认操作模式， IPVS和IPTABLES都基于netfilter，ipvs模式和iptables模式之间的差异如下：
在这里插入图片描述

1. 修改iptables为ipvs及调度算法

systemd方式

修改kubernetes使用ipvs：
https://kubernetes.io/zh/blog/2018/07/09/ipvs-based-in-cluster-load-balancing-deep-dive/

这条命令进入修改
#kubectl edit cm kube-proxy -n kube-system

vim /etc/systemd/system/kube-proxy.service
--proxy-mode=ipvs \
--ipvs-scheduler=sh


算法：
rr: round-robin 
lc: least connection 
dh: destination hashing 
sh: source hashing 
sed: shortest expected delay 
nq: never queue

查看

[root@k8s-master service]# ipvsadm -Ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
………………
TCP  10.102.246.104:8080 rr
  -> 10.244.2.111:80              Masq    1      0          0  
  -> 10.244.3.164:80              Masq    1      0          0  
  -> 10.244.3.165:80              Masq    1      0          0

configmap方式

将Kube-proxy改为ipvs模式，因为在初始化集群的时候注释了ipvs配置，所以需要自行修改一下：
在master01节点执行

root@k8s-master01:~# curl 127.0.0.1:10249/proxyMode
iptables
​
root@k8s-master01:~# kubectl edit cm kube-proxy -n kube-system
...
    mode: "ipvs"

更新Kube-Proxy的Pod：


sql复制代码root@k8s-master01:~# kubectl patch daemonset kube-proxy -p "{"spec":{"template":{"metadata":{"annotations":{"date":"`date +'%s'`"}}}}}" -n kube-system
daemonset.apps/kube-proxy patched

验证Kube-Proxy模式

rust复制代码root@k8s-master01:~# curl 127.0.0.1:10249/proxyMode
ipvs
​
root@k8s-master01:~# ipvsadm -ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  172.17.0.1:30005 rr
  -> 192.169.111.132:8443         Masq    1      0          0         
TCP  172.17.0.1:31101 rr
  -> 192.167.195.129:80           Masq    1      0          0         
  -> 192.169.111.129:80           Masq    1      0          0         
TCP  172.31.3.101:30005 rr
  -> 192.169.111.132:8443         Masq    1      0          0         
TCP  172.31.3.101:31101 rr
  -> 192.167.195.129:80           Masq    1      0          0         
  -> 192.169.111.129:80           Masq    1      0          0         
TCP  192.162.55.64:30005 rr
  -> 192.169.111.132:8443         Masq    1      0          0         
TCP  192.162.55.64:31101 rr
  -> 192.167.195.129:80           Masq    1      0          0         
  -> 192.169.111.129:80           Masq    1      0          0         
TCP  10.96.0.1:443 rr
  -> 172.31.3.101:6443            Masq    1      0          0         
  -> 172.31.3.102:6443            Masq    1      0          0         
  -> 172.31.3.103:6443            Masq    1      1          0         
TCP  10.96.0.10:53 rr
  -> 192.162.55.65:53             Masq    1      0          0         
  -> 192.162.55.67:53             Masq    1      0          0         
TCP  10.96.0.10:9153 rr
  -> 192.162.55.65:9153           Masq    1      0          0         
  -> 192.162.55.67:9153           Masq    1      0          0         
TCP  10.101.15.4:8000 rr
  -> 192.170.21.198:8000          Masq    1      0          0         
TCP  10.102.2.33:443 rr
  -> 192.170.21.197:4443          Masq    1      0          0         
TCP  10.106.167.169:80 rr
  -> 192.167.195.129:80           Masq    1      0          0         
  -> 192.169.111.129:80           Masq    1      0          0         
TCP  10.110.52.91:443 rr
  -> 192.169.111.132:8443         Masq    1      0          0         
UDP  10.96.0.10:53 rr
  -> 192.162.55.65:53             Masq    1      0          0         
  -> 192.162.55.67:53             Masq    1      0          0

2. 设置token登录会话保持时间

vim dashboard/kubernetes-dashboard.yaml 
	image: 192.168.200.110/baseimages/kubernetes-dashboard-amd64:v1.10.1 
	ports: 
	- containerPort: 8443 
	  protocol: TCP 
	args: 
	  - --auto-generate-certificates 
	  - --token-ttl=43200 

# kubectl apply -f .

3. session保持

sessionAffinity: ClientIP 
sessionAffinityConfig: 
	clientIP: 
		timeoutSeconds: 10800

问题：IPVS代理模式下Service服务的ClusterIP类型访问失败处理

使用IPVS代理模式，当Service的类型为ClusterIP时，如何处理访问service却不能访问后端pod的情况。
参考

DNS服务：

目前常用的dns组件有kube-dns和coredns两个，用于解析k8s集群中service name所对应得到IP地址。

1. 部署kube-dns

1.skyDNS/kube-dns/coreDNS 
kube-dns：提供service name域名的解析 
dns-dnsmasq：提供DNS缓存，降低kubedns负载，提高性能 
dns-sidecar：定期检查kubedns和dnsmasq的健康状态

2.导入镜像并上传至本地harbor 
docker load -i k8s-dns-kube-dns-amd64_1.14.13.tar.gz 

docker images 

docker tag gcr.io/google-containers/k8s-dns-kube-dns-amd64:1.14.13 

docker push harbor.magedu.net/baseimages/k8s-dns-kube-dns-amd64:1.14.13 

docker load -i k8s-dns-sidecar-amd64_1.14.13.tar.gz 

docker images 
docker tag gcr.io/google-containers/k8s-dns-sidecar-amd64:1.14.13 
docker push harbor.magedu.net/baseimages/k8s-dns-sidecar-amd64:1.14.13
docker load -i k8s-dns-dnsmasq-nanny-amd64_1.14.13.tar.gz 

docker images 
docker tag gcr.io/google-containers/k8s-dns-dnsmasq-nanny-amd64:1.14.13 

docker push harbor.magedu.net/baseimages/k8s-dns-dnsmasq-nanny-amd64:1.14.13 

3.修改yaml文件中的镜像地址为本地harbor地址 

vim kube-dns.yaml 
 - name: kubedns 
   image: harbor.magedu.net/baseimages/k8s-dns-kube-dns-amd64:1.14.13 
 - name: dnsmasq 
   image: harbor.magedu.net/baseimages/k8s-dns-dnsmasq-nanny-amd64:1.14.13 
  - name: sidecar 
    image: harbor.magedu.net/baseimages/k8s-dns-sidecar-amd64:1.14.13 

4.创建服务 

kubectl apply -f kube-dns.yaml

2. 部署coredns

coredns 1.2/1.3/1.4/1.5版本

docker tag gcr.io/google-containers/coredns:1.2.6 


docker push harbor.magedu.net/baseimages/coredns:1.2.6

#1.6部署方式
https://github.com/coredns/deployment/tree/master/kubernetes

unzip deployment-master.zip 
./deploy.sh 10.20.0.0/16 > coredns.yaml 

vim coredns.yaml #修改域名

3. 域名解析测试

删除kube-dns
kubectl delete -f /etc/ansible/manifests/dns/kube-dns/kube-dns.yaml 

 #部署coredns
kubectl apply -f coredns.yaml 

kubectl exec busybox nslookup kubernetes

kubectl exec busybox nslookup kubernetes.default.svc.linux36.local
（─__─）
关注
专栏目录
k8s使用ipvs模式
weixin_42808782的博客
05-12 5432
k8s的kube-proxy支持iptables、ipvs 模式，默认是iptables 模式 1、加载内核模快，内核支持： 查看当前系统支持的ip_vs : [root@node1 ~]# lsmod|grep ip_vs ip_vs_sh 12688 0 ip_vs_wrr 12697 0 ip_vs_rr 12600 0 ip_vs 145497 6 ip_vs_rr,ip_
k8s笔记（5）-- Service和Kube-Porxy
xl_2016的博客
12-03 392
什么是service k8s中的服务发现和负载均衡。通俗的说就是映射一个虚拟IP(VIP)到指定的端口，通过代理客户端发来的请求会转发到后端一组Pods中的一台（也就是endpoint）上。为什么不直接访问pod端口呢？之前了解到，pod一般不单独存在，通过deployment管理pod生命周期，在pod销毁重建后ip和hostname都会改变，所以一般不直接访问pod服务，通过service v...
31-k8s集群svc的代理模式-iptables修改为ipvs
2302_79199605的博客
02-27 1354
通过一层一层的路由查询，我们就知道了目标地址的终点ip是什么；
IPVS、ipvsadm简单说明
最新发布
dl_11的博客
08-21 923
IPVS (IP Virtual Server)是在 Netfilter 上层构建的，并作为 Linux 内核的一部分，实现传输层负载均衡。IPVS 集成在 LVS（Linux Virtual Server，Linux 虚拟服务器）中，它在主机上运行，并在物理服务器集群前作为负载均衡器。IPVS 可以将基于 TCP 和 UDP 服务的请求定向到真实服务器，并使真实服务器的服务在单个IP地址上显示为虚拟服务。
k8s中iptables与ipvs详解——2023.05
我是小bā吖的博客
05-30 4274
从k8s的1.8版本开始，kube-proxy引入了IPVS模式，IPVS模式与iptables同样基于Netfilter，但是ipvs采用的hash表，iptables采用一条条的规则列表。iptables又是为了防火墙设计的，集群数量越多iptables规则就越多，而iptables规则是从上到下匹配，所以效率就越是低下。因此当service数量达到一定规模时，hash查表的速度优势就会显现出来，从而提高service的服务性能。
k8s中的ipvs
ss810540895的博客
10-11 1749
当我们部署kube-prox时都会存在一个选择， 是选择ipvs模式还是iptables哪个好呢？也还存在其它的疑问外部流量访问到svc,然后svc跳转pod访问应用.svc怎么跳转访问pod的呢？kube-proxy实现svc到pod的访问和负载均衡. 让我们带着问题阅读下面的文章。
IPVS在k8s中的使用
u010560161的博客
04-24 2584
一、IPVS在k8s中的使用 二、IPVS的优点 1、底层hash算法，查找复杂度为O(1) 事先将所有路由存储到hash表，不像iptables底层O(0)的复杂度，需要一条条规则从上到下匹配，这样随着service的增多（nat规则增多），内核越来越忙，集群性能越来越差。 2、支持多种负载均衡策略 加权、最少连接、最小负载等 3、支持健康检查和重试（后端pod异常重试去访问另一个后端pod） ...
lvs的八种调度算法！
07-27 344
1. 轮叫调度 rr 这种算法是最简单的，就是按依次循环的方式将请求调度到不同的服务器上，该算法最大的特点就是简单。轮询算法假设所有的服务器处理请求的能力都是一样的，调度器会将所有的请求平均分配给每个真实服务器，不管后端 RS 配置和处理能力，非常均衡地分发下去。 2. 加权轮叫 wrr 这种算法比 rr 的算法多了一个权重的概念，可以给 RS 设置权重，权重越高，那么分发的请求数越多，权重的取值...
k8s的部署以及开启ipvs
王佳宇的个人博客
02-27 5602
准备工作：https://blog.csdn.net/weixin_40165163/article/details/104526461 当centos的环境准备好后，就可以开始部署k8s了 首先设置k8s下载源 cat <<EOF > /etc/yum.repos.d/kubernetes.repo [kubernetes] name=Kubernetes bas...
容器化部署----Kubernetes(K8S)快速入门
技术专家
10-21 9658
随着Docker技术的流行，对项目的容器化部署方式越来越流行，容器化部署的优点如下：
K8S-Service、代理模式概念(一)
benziwu的博客
12-16 230
访问服务时，流量将被重定向到其中一个后端 Pod与 iptables 类似，ipvs 于 netfilter 的 hook 功能，但使用哈希表作为底层数据结构并在内核空间中工作。在Kubernetes v1.1 版本，新增了 iptables 代理，但并不是默认的运行模式。自己内部实现有负载均衡的方法，并可以查询到这个 service 下对应 pod 的地址和端口，进而把数据转发给对应的 pod 的地址和端口。ExternalName：把集群外部的服务引入到集群内部来，在集群内部直接使用。
1-1 K8s 各组件功能介绍
分享云原生，容器，运维等干货知识
07-18 2417
一个Kubernetes（K8s）集群由控制平面（ControlPlane）与工作节点（Node）组成，它们分别有不同的组件构成，并发挥不同的作用。Kubernetes集群的组件K8s的主要组件为上述列举的几种。
k8s介绍-组件架构-核心
qq_37499012的博客
02-20 897
用于自动部署、扩展和管理“容器化( containerized) 应用程序”的开源系统可以理解成K8S是负责自动化运维管理多个容器化程序(比如Docker)的集群，是–个生态极其丰富的容器编排框架工具由来：k8S由google的Borg系统(博格系统，google内部使用的大规模容器编排工具)作为原型，后经G0语言延用Borg的思路重写并捐献给CNCF基金会开源含义：词根源于希腊语的舵手、飞行员 2、为什么需要Kubernetes，它能做什么？ **容器是打包和运行应用程序的好方式。**在生产环境中，你需要
kubernetes（K8S） 开启ipvs模式
weixin_42655668的博客
04-08 5143
IPVS简介： 尽管 Kubernetes 在版本v1.6中已经支持5000个节点，但使用 iptables 的 kube-proxy 实 际上是将集群扩展到5000个节点的瓶颈。 在5000节点集群中使用 NodePort 服务，如果有2000个服务并且每个服务有10个 pod，这将在每个工作节点上至少产生20000个iptable 记录，这可能使内核非常繁忙。 ipvs (IP Virtual Server) 实现了传输层负载均衡，也就是我们常说的4层LAN交换，作为Linux 内核的一部分。ipvs运
k8s 的 ipvs模式
shelutai的博客
01-28 747
https://blog.51cto.com/u_13641616/2442005
Kubernetes IPVS和IPTABLES
sinat_40572875的博客
11-19 1117
IPVS（IP Virtual Server，IP虚拟服务器）实现了传输层的负载平衡，通常称为4 LAN（四层局域网）交换，是Linux内核的一部分。IPVS在主机上运行，在真实服务器集群前面充当负载平衡器。IPVS可以将基于 TCP 和 UDP 的服务请求定向到真实服务器上。
k8s kube-proxy ipvs
fengcai_ke的博客
07-12 1914
k8s kube-proxy ipvs分析
k8s ipvs
qq_45620825的博客
06-15 124
k8s ipvs
【网易云信】DNS 调度原理解析
weixin_33797791的博客
08-22 512
DNS 简介 DNS，现代互联网发展最不可或缺的服务之一，我们从访问网页到发送电子邮件，无时不刻都使用着DNS为我们提供的服务。大家都知道，DNS的核心工作就是将域名翻译成计算机IP地址，一个完整的DNS解析过程如下: 1、用户发出 www.sina.com.cn 的域名解析请求，首先查询本地缓存中是否有该域名对应的IP，如果有直接返回...
Kubernetes 1.9二进制集群部署：kube-router与IPVS，CoreDNS替代kube-dns
"该资源详细介绍了如何在Kubernetes 1.9版本中搭建二进制版集群，重点在于使用kube-router替代kube-proxy实现服务负载均衡，以及采用coredns替换kube-dns以提升系统的稳定性。此外，还解决了在旧版本中kubelet与...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值