k8s 六之pod间网络通信+ingress-nginx部署+网络策略

k8s网络通信

什么是k8s网络通信

k8s通过CNI接口接入其他插件来实现网络通讯。目前比较流行的插件有flannel,calico等。
CNI插件存放位置: cat /etc/cni/net.d/10-flannel.conflist
插件使用的解决方案如下:

  • 虚拟网桥,虚拟网卡,多个容器共用一个虚拟网卡进行通信。
  • 多路复用:MacVLAN,多个容器共用一个物理网卡进行通信。
  • 硬件交换:SR-LOV,一个物理网卡可以虚拟出多个接口,这个性能最好。

k8s网络通信分类

  • 容器间通信: 同一个pod内的多个容器间的通信,通过lo即可实现。
  • pod之间的通信: 同一节点的pod之间通过cni网桥转发数据包,不同节点的pod之间的通信需要网络插件支持。
  • pod和service通信: 通过iptables或ipvs实现通信,ipvs取代不了iptables,因为ipvs只能做负载均衡,而做不了nat转换。
  • pod和外网通信: iptables的MASQUERADE
  • Service与集群外部客户端的通信: ingress、nodeport、loadbalancer

flannel插件

在这里插入图片描述

组件介绍

  • VXLAN: 即Virtual Extensible LAN(虚拟可扩展局域网),是Linux本身支持的一种网络虚拟化技术。VXLAN可以完全在内核态实现封装和解封装工作,从而通过隧道机制,构建出覆盖网络(Overlay Network)。
  • VTEP: VXLAN Tunnel End Point(虚拟隧道端点),在Flannel中 VNI的默认值是1,这也是为什么宿主机的VTEP设备都叫flannel.1的原因。
  • Cni0: 网桥设备,每创建一个pod都会创建一对 veth pair。其中一端是pod中的eth0,另一端是Cni0网桥中的端口(网卡)。
  • Flannel.1: TUN设备(虚拟网卡),用来进行 vxlan 报文的处理(封包和解包)。不同node之间的pod数据流量都从overlay设备以隧道的形式发送到对端。
  • Flanneld: flannel在每个主机中运行flanneld作为agent,它会为所在主机从集群的网络地址空间中,获取一个小的网段subnet,本主机内所有容器的IP地址都将从中分配。同时Flanneld监听K8s集群数据库,为flannel.1设备提供封装数据时必要的mac、ip等网络数据信息。

通信流程介绍

  • 当容器发送IP包,通过veth pair发往cni网桥,再路由到本机的flannel.1设备进行处理。
  • VTEP设备之间通过二层数据帧进行通信,源VTEP设备收到原始IP包后,在上面加上一个目的MAC地址,封装成一个内部数据帧,发送给目的VTEP设备。
  • 内部数据桢,并不能在宿主机的二层网络传输,Linux内核还需要把它进一步封装成为宿主机的一个普通的数据帧,承载着内部数据帧通过宿主机的eth0进行传输。
  • Linux会在内部数据帧前面,加上一个VXLAN头,VXLAN头里有一个重要的标志叫VNI,它是VTEP识别某个数据桢是不是应该归自己处理的重要标识。
  • flannel.1设备只知道另一端flannel.1设备的MAC地址,却不知道对应的宿主机地址是什么。在linux内核里面,网络设备进行转发的依据,来自FDB的转发数据库,这个flannel.1网桥对应的FDB信息,是由flanneld进程维护的。
  • linux内核在IP包前面再加上二层数据帧头,把目标节点的MAC地址填进去,MAC地址从宿主机的ARP表获取。
  • 此时flannel.1设备就可以把这个数据帧从eth0发出去,再经过宿主机网络来到目标节点的eth0设备。目标主机内核网络栈会发现这个数据帧有VXLAN Header,并且VNI为1,Linux内核会对它进行拆包,拿到内部数据帧,根据VNI的值,交给本机flannel.1设备处理,flannel.1拆包,根据路由表发往cni网桥,最后到达目标容器。

Vxlan模式

Vxlan模式自带两个参数
1.vxlan参数:默认参数,跨网段时使用此参数。
2.Directrouting参数:同一个网段时使用此参数,直接路由,等同于下面介绍的host-gw模式。

vxlan(默认)模式

pod内通过cni0通信
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

Directrouting模式

1.修改模式为Directrouting模式
kubectl -n kube-system edit cm kube-flannel-cfg
{
  "Network": "10.244.0.0/16",
  "Backend": {
    "Type": "vxlan",
    "Directrouting": true
  }
}
2.重启生效
kubectl get pod -n kube-system |grep flannel | awk '{system("kubectl delete pod "$1" -n kube-system")}'
3.查看route
ip route 或 route -n

在这里插入图片描述
既保留了vxlan,又保留了本机路由。
在这里插入图片描述

host-gw模式

应用场景:主机网关,性能好,但只能在二层网络中,不支持跨网络。

1.修改模式为host-gw
kubectl -n kube-system edit cm kube-flannel-cfg
2.重启生效
kubectl get pod -n kube-system |grep flannel | awk '{system("kubectl delete pod "$1" -n kube-system")}'
3.查看route
ip route 或 route -n

在这里插入图片描述
在这里插入图片描述
在主机上直接做路由而不用封装,直接走主机ip地址。跳过flannel.1直接从cni0到eth0(这里是ens33)。

在这里插入图片描述
在这里插入图片描述

calico插件

calico官网

calico简介

  • flannel实现的是网络通信,calico的特性是在pod之间的隔离。
  • 通过BGP路由,但大规模端点的拓扑计算和收敛往往需要一定的时间和计算资源。
  • 纯三层的转发,中间没有任何的NAT和overlay,转发效率最好。
  • Calico 仅依赖三层路由可达。Calico 较少的依赖性使它能适配所有VM、Container、白盒或者混合环境场景。

calico安装

注意:如果之前安装过flannel,先清理环境。
kubectl delete -f kube-flannel.yml 
cd /etc/cni/net.d
mv 10-flannel.conflist /mnt/        #将文件先移到别处,每一个节点都需要做。
ps ax | grep gannel
 
1. wget https://docs.projectcalico.org/manifests/calico.yaml

2.拉取calico.yaml清单中所需的镜像(文件不同,镜像也不同,下面就是举个例子)
docker pull calico/kube-controllers:v3.16.1
docker pull calico/cni:v3.16.1
docker pull calico/pod2daemon-flexvol:v3.16.1
docker pull calico/node:v3.16.1

3.可以将刚才拉取的镜像放到harbor中

 - vim calico.yml
 - name: CALICO_IPV4POOL_IPIP
  value: "off"
 - name: CALICO_IPV4POOL_CIDR
  value: "10.244.0.0/16"

 - kubectl apply -f calico.yaml

在这里插入图片描述
在server1上下载软件
在这里插入图片描述
在这里插入图片描述
修改calico.yml把always改为off
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
部署成功
在这里插入图片描述
测试位于不同节点的容器如何通信
在这里插入图片描述
发现可以ping通
在这里插入图片描述
在server2上抓包结果如下
在这里插入图片描述
在server3上访问server2是通过物理网卡访问的,而不是网桥cni0。
在这里插入图片描述
原理如下:
在这里插入图片描述

ingress-nginx部署

ingress-nginx官网

ingress介绍

  • Kubernetes里的Ingress服务是种全局的、为了代理不同后端 Service 而设置的负载均衡服务。
  • Ingress由两部分组成:Ingress controller和Ingress服务
  • Ingress Controller 会根据你定义的 Ingress 对象,提供对应的代理能力。业界常用的各种反向代理项目,比如 Nginx、HAProxy、Envoy、Traefik 等,都已经为Kubernetes专门维护了对应的 Ingress Controller。
    在这里插入图片描述
    在这里插入图片描述

ingress-nginx安装

单host

为了方便起见,我将harbor配置成使用http访问。
1.mkdir ingress
cd ingress/

2.下载deploy.yaml
wget https://raw.githubusercontent.com/kubernetes/ingress-nginx/master/deploy/static/provider/baremetal/deploy.yaml

3.拉取镜像
docker pull dyrnq/ingress-nginx-controller:v1.0.4
docker pull dyrnq/kube-webhook-certgen:v1.1.1

4.上传镜像
仓库里新建项目ingress-nginx
docker tag dyrnq/ingress-nginx-controller:v1.0.4 www.lyueyue.org/ingress-nginx/ingress-nginx-controller:v1.0.4
docker tag dyrnq/kube-webhook-certgen:v1.1.1 www.lyueyue.org/ingress-nginx/kube-webhook-certgen:v1.1.1
docker push www.lyueyue.org/ingress-nginx/ingress-nginx-controller:v1.0.4
docker push www.lyueyue.org/ingress-nginx/kube-webhook-certgen:v1.1.1

5.修改deploy.yaml文件
这里主要修改镜像的地址

6.运行文件并查看部署情况
kubectl apply -f deploy.yaml
kubectl -n ingress-nginx get pod      #查看是否运行成功,READY状态必须为1
kubectl get ns                        #安装成功后出现新的namespace:ingress-nginx
kubectl get all -n ingress-nginx      #查看服务是否安装成功
kubectl get all -o wide -n ingress-ngin

7.创建一个svc
vim demo.yml
apiVersion: v1
kind: Service
metadata:
  name: myservice
spec:
  selector:
    app: myapp
  ports:
  - protocol: TCP
    port: 80
    targetPort: 80
  type: ClusterIP 
---
apiVersion: apps/v1
kind: Deployment
metadata:
  name: demo2
spec:
  replicas: 2
  selector:
    matchLabels:
      app: myapp
  template:
    metadata:
      labels:
        app: myapp
    spec:
      containers:
      - name: myapp
        image: myapp:v2

8.创建ingress服务
vim ingress.yaml
apiVersion: networking.k8s.io/v1
kind: Ingress
metadata:
  name: ingress-demo
spec:
  ingressClassName: nginx
  rules:
  - host: www1.lyueyue.org
    http:
      paths:
      - path: /
        pathType: Prefix
        backend:
          service:
            name: myservice
            port:
              number: 80

9.kubectl apply -f ingress.yaml

10.查看nodeport所暴露的端口(查看80所对应的那个端口)

11.设置域名解析

12.测试 由于我的虚拟机只能开三个,因此这次的测试机仍然是server1,最好换一个虚拟机来测试。

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
补充:(输入:set paste 进入paste模式以后,可以在插入模式下粘贴内容,不会有任何变形)
需要修改deploy.yaml文件中的三处镜像
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
部署成功!
在这里插入图片描述
在这里插入图片描述
孩子要哭了😭终于部署好了,在这个地方卡了好几天。思考了一下部署错误的原因:所拉取的harbor项目没有公开,所部署的ingress-nginx版本和k8s不配合等等,出现的错误非常多,换了好几个deploy.yaml版本终于成功了。
在这里插入图片描述
在这里插入图片描述
有两个后端
在这里插入图片描述
现在创建一个ingress服务
在这里插入图片描述
在这里插入图片描述
查看nodeport所暴露的端口
在这里插入图片描述
设置域名解析
在这里插入图片描述
开始测试 发现负载均衡
在这里插入图片描述

两个host

接上
12.创建一个nginx-svc,便于之后区分
vim nginx-svc.yaml
apiVersion: v1
kind: Service
metadata:
  name: nginx-svc
spec:
  selector:
    app: nginx
  ports:
  - protocol: TCP
    port: 80
    targetPort: 80
---
apiVersion: apps/v1
kind: Deployment
metadata:
  name: deployment
spec:
  replicas: 2
  selector:
    matchLabels:
      app: nginx
  template:
    metadata:
      labels:
        app: nginx
    spec:
      containers:
      - name: nginx
        image: myapp:v1
      
13.重新编辑ingress.yaml添加www2主机。
vim ingress.yaml
apiVersion: networking.k8s.io/v1
kind: Ingress
metadata:
  name: ingress-demo
spec:
  ingressClassName: nginx
  rules:
  - host: www1.lyueyue.org
    http:
      paths:
      - path: /
        pathType: Prefix
        backend:
          service:
            name: myservice
            port:
              number: 80
  - host: www2.lyueyue.org
    http:
      paths:
      - path: /
        pathType: Prefix
        backend:
          service:
            name: nginx-svc
            port:
              number: 80
              
14.kubectl apply -f ingress.yaml

15.修改域名解析文件

16.测试

再创建一个nginx-svc.yaml
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
测试
在这里插入图片描述

配置证书加密

1.openssl req -x509 -sha256 -nodes -days 365 -newkey rsa:2048 -keyout tls.key -out tls.crt -subj "/CN=nginxsvc/O=nginxsvc"               #生成证书

2.kubectl create secret tls tls-secret --key tls.key --cert tls.crt                            #生成密钥文件tls-secret

3.kubectl get secrets                   #查看生成的密钥文件

4.kubectl describe  secrets tls-secret  #查看密钥详细信息

5.启用证书
vim ingress.yaml
apiVersion: networking.k8s.io/v1
kind: Ingress
metadata:
  name: ingress-demo
spec:
  ingressClassName: nginx
  tls:
  - hosts:
    - www1.lyueyue.org
    secretName: tls-secret
  rules:
  - host: www1.lyueyue.org
    http:
      paths:
      - path: /
        pathType: Prefix
        backend:
          service:
            name: myservice
            port:
              number: 80
              
---
apiVersion: networking.k8s.io/v1
kind: Ingress
metadata:
  name: ingress-demo2
spec:
  ingressClassName: nginx
  rules:
  - host: www2.lyueyue.org
    http:
      paths:
      - path: /
        pathType: Prefix
        backend:
          service:
            name: nginx-svc
            port:
              number: 80
              
6.kubectl apply -f ingress.yaml

7.测试
kubectl  get ingress
curl www1.lyueyue.org:32097 -I
curl www2.lyueyue.org:32097 -I

在这里插入图片描述
在这里插入图片描述
启用证书
在这里插入图片描述
在这里插入图片描述
ingress-demo出现端口443
在这里插入图片描述
测试
在这里插入图片描述

配置用户认证

在配置证书加密的基础上配置用户认证
1.安装工具,里面有htpasswd
yum install -y httpd-tools

2.htpasswd -c auth lyueyue            #建立认证用户
htpasswd auth admin                   #如果再创建用户不加-c

3.cat auth                            #查看认证的用户

4.kubectl create secret generic basic-auth --from-file=auth                             #存储用户认证文件

5.kubectl get secrets                 #查看是否存储成功

6. kubectl get secret basic-auth -o yaml   #通过yaml文件查看用户认证信息

7.vim ingress.yaml
apiVersion: networking.k8s.io/v1
kind: Ingress
metadata:
  name: ingress-demo
  annotations:
    nginx.ingress.kubernetes.io/auth-type: basic
    nginx.ingress.kubernetes.io/auth-secret: basic-auth
    nginx.ingress.kubernetes.io/auth-realm: 'Authentication Required - lyueyue'
spec:
  ingressClassName: nginx
  rules:
  - host: www1.lyueyue.org
    http:
      paths:
      - path: /
        pathType: Prefix
        backend:
          service:
            name: myservice
            port:
              number: 80
              
---
apiVersion: networking.k8s.io/v1
kind: Ingress
metadata:
  name: ingress-demo2
spec:
  ingressClassName: nginx
  rules:
  - host: www2.lyueyue.org
    http:
      paths:
      - path: /
        pathType: Prefix
        backend:
          service:
            name: nginx-svc
            port:
              number: 80
8.kubectl apply -f ingress.yaml

9.测试

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
测试
在这里插入图片描述
访问成功
在这里插入图片描述

地址重定向(简单)

vim ingress.yaml
apiVersion: networking.k8s.io/v1
kind: Ingress
metadata:
  name: ingress-demo
  annotations:
    nginx.ingress.kubernetes.io/auth-type: basic
    nginx.ingress.kubernetes.io/auth-secret: basic-auth
    nginx.ingress.kubernetes.io/auth-realm: 'Authentication Required - lyueyue'
spec:
  ingressClassName: nginx
  rules:
  - host: www1.lyueyue.org
    http:
      paths:
      - path: /
        pathType: Prefix
        backend:
          service:
            name: myservice
            port:
              number: 80
              
---
apiVersion: networking.k8s.io/v1
kind: Ingress
metadata:
  name: ingress-demo2
  annotations:
    nginx.ingress.kubernetes.io/rewrite-target: /hostname.html
spec:
  ingressClassName: nginx
  rules:
  - host: www2.lyueyue.org
    http:
      paths:
      - path: /
        pathType: Prefix
        backend:
          service:
            name: nginx-svc
            port:
              number: 80

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

地址重定向(复杂)

vim ingress.yaml
apiVersion: networking.k8s.io/v1
kind: Ingress
metadata:
  name: ingress-demo
  annotations:
    nginx.ingress.kubernetes.io/auth-type: basic
    nginx.ingress.kubernetes.io/auth-secret: basic-auth
    nginx.ingress.kubernetes.io/auth-realm: 'Authentication Required - lyueyue'
spec:
  ingressClassName: nginx
  rules:
  - host: www1.lyueyue.org
    http:
      paths:
      - path: /
        pathType: Prefix
        backend:
          service:
            name: myservice
            port:
              number: 80
              
---
apiVersion: networking.k8s.io/v1
kind: Ingress
metadata:
  name: ingress-demo2
  annotations:
    nginx.ingress.kubernetes.io/rewrite-target: /$2
spec:
  ingressClassName: nginx
  rules:
  - host: www2.lyueyue.org
    http:
      paths:
      - path: /lyueyue(/|$)(.*)       #访问必须添加lyueyue路径,然后重新定向到别的路径)
        pathType: Prefix
        backend:
          service:
            name: nginx-svc
            port:
              number: 80

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

网络策略

网络策略官方文档

限制访问指定服务

vim nginx-policy.yml
apiVersion: networking.k8s.io/v1
kind: NetworkPolicy
metadata:
  name: deny-nginx
spec:
  podSelector:
    matchLabels:
      app: nginx

允许指定pod访问服务

vim access-demo.yaml
apiVersion: networking.k8s.io/v1
kind: NetworkPolicy
metadata:
  name: access-nginx
spec:
  podSelector:
    matchLabels:
      app: nginx
  ingress:
  - from:
     - podSelector:
       matchLabels:
         app: demo

禁止 namespace 中所有 Pod 之间的相互访问

vim deny-pod.yaml
apiVersion: networking.k8s.io/v1
kind: NetworkPolicy
metadata:
  name: default-deny
  namespace: demo
spec:
  podSelector: {}

禁止其他 namespace 访问服务

vim deny-ns.yaml
apiVersion: networking.k8s.io/v1
kind: NetworkPolicy
metadata:
  name: deny-namespace
spec:
  podSelector:
    matchLabels:
  ingress:
  - from:
    - podSelector: {}

只允许指定namespace访问服务

vim access-ns.yaml
apiVersion: networking.k8s.io/v1
kind: NetworkPolicy
metadata:
  name: access-namespace
spec:
  podSelector:
    matchLabels:
      run: nginx         
  ingress:
  - from:
    - namespaceSelector:
        matchLabels:
          role: prod   

允许外网访问服务

vim access-ex.yaml
apiVersion: networking.k8s.io/v1
kind: NetworkPolicy
metadata:
  name: web-allow-external
spec:
  podSelector:
    matchLabels:
      app: nginx
  ingress:
  - ports:
    - port: 80
    from: []
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值