k8s通过CNI接口接入其他网络插件来实现网络通讯。目前比较流行的插件有flannel,calico等。
CNI插件存放位置: # cat /etc/cni/net.d/10-flannel.conflist
插件使用的解决方案如下:
虚拟网桥,虚拟网卡,多个容器共用一个虚拟网卡进行通信。多路复用: MacVLAN,多个容器共用一个物理网卡进行通信硬件交换: SR-LOV,一个物理网卡可以虚拟出多个接口,这个性能最好。
容器间通信: 同一个pod内的多个容器间的通信,通过lo即可实现;
插件使用的解决方案如下:
虚拟网桥,虚拟网卡,多个容器共用一个虚拟网卡进行通信。多路复用: MacVLAN,多个容器共用一个物理网卡进行通信硬件交换: SR-LOV,一个物理网卡可以虚拟出多个接口,这个性能最好。
容器间的通信,通过lo即可实现;
pod之间的通信:
同一节点的pod之间通过cni网桥转发数据包。
不同节点的pod之间的通信需要网络插件支持.
pod和service通信: 通过iptables或ipvs实现通信,ipvs取代不了iptables,因为ipvs只能做
负载均衡,而做不了nat转换。
pod和外网通信: iptables的MASQUERADE
Service与集群外部客户端的通信; (ingress、nodeport、loadbalancer)
Flannel vxlan模式跨主机通信原理
在同一个节点上的pod 流量通过cni网桥可以直接进行转发,不用出去
如果一个容器要访问另一个容器:很明显要跨主机,数据包通过flannel(其实就是隧道) 知道另一边的mac地址,就可以拿到另一边的ip地址,然后构建常规的以太网数据包,然后承载内部数据帧出去,另一边在封装常规的以太网头部的时候,需要对端的ip 和mac
对端的IP和mac 可以直接在arp表里面获取
数据包到达另一边开始解包,发现有flannel.1 会交给这边的lflannel.1这个设备来进行解包 最后通过网桥直接进行转发
======================
falnnel网络
VXLAN.即Virtual Extensible LAN (虚拟可扩展局域网)拟化技术。VXLAN可以完全在内核态实现封装和解封装工作,从而通过“隧道”机制,构建出覆盖网络(Overlay Network)
是Linux本身支持的一网种网络虚
VTEP:VXLAN Tunnel End Point (虚拟隧道端点),在Flannel中 VNI的默认值是1,这也是为什么宿主机的VTEP设备都叫flannel.1的原因。
Cni0:网桥设备,每创建一个pod都会创建一对 veth pair。其中一端是pod中的eth0,另一端
是Cni0网桥中的端口(网卡)。
Flannel.1 TUN设备(虚拟网卡),用来进行vxlan 报文的处理(封包和解包)。不同node之间的pod数据流量都从overlay设备以隧道的形式发送到对端
Flanneld: flannel在每个主机中运行flanneld作为agent,它会为所在主机从集群的网络地址空间中,获取一个小的网段subnet,本主机内所有容器的IP地址都将从中分配。同时Flanneld监听K8s集群数据库,为flannel.1设备提供封装数据时必要的mac、ip等网络数据信息
flannel支持多种后端:
一:Vxlan :1.vxlan 报文封装,默认 2.Diectrouting 直接跨路由,跨网段使用vxlan,同网段使用host-gw模式
二:host-gw 主机网关,性能好,但只能在二层网络中,不支持网络,如果有成千上万的pod ,容易产生广播风暴,不推荐
UDP 性能差,不推荐
flannel网络插件
使用host-gw模式
重启pod 生效
此时 每个网段直接来了个静态路由
calico网络插件
部署
删除flannel插件
删除所有节点上flannel配置文件,避免冲突
==========================
calico网络插件
官网: https://docs.projectcalico.org/getting-started/kubernetes/selfmanaged-onprem/onpremises
calico简介
flannel实现的是网络通信,calico的特性是在pod之间的隔离。通过BGP路由,但大规模端点的拓扑计算和收敛往往需要一定的时间和计算资源。纯三层的转发,中间没有任何的NAT和overlay,转发效率最好Calico 仅依赖三层路由可达。Calico 较少的依赖性使它能适配所有 VMContainer、白盒或者混合环境场景
calico支持网络策略
下载部署文件
修改镜像路径
下载镜像
上传镜像到harbor
部署calico
每个节点都会创建配置文件
等待集群重启正常后测试网络