kubernetes的service、pod间的网络通信、ingress-nginx

k8s网络通信

k8s通过CNI接口接入其他插件来实现网络通讯。目前比较流行的插件有flannel(只解决网络通信，不能解决网络策略)，calico等。
CNI插件存放位置：# cat  /etc/cni/net.d/10-flannel.conflist  
插件使用的解决方案如下：
	虚拟网桥，虚拟网卡，多个容器共用一个虚拟网卡进行通信。
	多路复用：MacVLAN，多个容器共用一个物理网卡进行通信。
	硬件交换：SR-LOV，一个物理网卡可以虚拟出多个接口，这个性能最好。
容器间通信：同一个pod内的多个容器间的通信，通过lo即可实现；
pod之间的通信：
	同一节点的pod之间通过cni网桥转发数据包。(brctl show可以查看)
	不同节点的pod之间的通信需要网络插件支持。
pod和service通信: 通过iptables或ipvs实现通信，ipvs取代不了iptables，因为ipvs只能做负载均衡，而做不了nat转换。
pod和外网通信：iptables的MASQUERADE。
Service与集群外部客户端的通信；（ingress、nodeport、loadbalancer）

service

简介

Service可以看作是一组提供相同服务的Pod对外的访问接口。借助Service，应用可以方便地实现服务发现和负载均衡。
service默认只支持4层负载均衡能力，没有7层功能。（可以通过Ingress实现）
service的类型：(前三种是集群外部访问内部资源)
	ClusterIP：默认值，k8s系统给service自动分配的虚拟IP，只能在集群内部访问。
	NodePort：将Service通过指定的Node上的端口暴露给外部，访问任意一个NodeIP:nodePort都将路由到ClusterIP。
	LoadBalancer：在 NodePort 的基础上，借助 cloud provider 创建一个外部的负载均衡器，并将请求转发到 <NodeIP>:NodePort，此模式只能在云服务器上使用。
	ExternalName：将服务通过 DNS CNAME 记录方式转发到指定的域名（通过 spec.externlName 设定）。[集群内部访问外部，通过内部调用外部资源]

Service 是由 kube-proxy 组件，加上 iptables 来共同实现的.
kube-proxy 通过 iptables 处理 Service 的过程，需要在宿主机上设置相当多的 iptables 规则，如果宿主机有大量的Pod，不断刷新iptables规则，会消耗大量的CPU资源。
IPVS模式的service，可以使K8s集群支持更多量级的Pod。

ClusterIP

[root@server2 ~]# kubectl apply -f rs.yml  
deployment.apps/deployment created
[root@server2 ~]# cat rs.yml 
apiVersion: apps/v1
kind: Deployment
metadata:
  name: deployment
spec:
  replicas: 3
  selector:
    matchLabels:
      app: nginx
  template:
    metadata:
      labels:
        app: nginx
    spec:
      containers:
      - name: nginx
        image: myapp:v1

[root@server2 ~]# kubectl  expose deployment deployment --port=80
service/deployment exposed
[root@server2 ~]# kubectl  get svc
NAME         TYPE        CLUSTER-IP      EXTERNAL-IP   PORT(S)   AGE
deployment   ClusterIP   10.104.98.119   <none>        80/TCP    7s
kubernetes   ClusterIP   10.96.0.1       <none>        443/TCP   9d
[root@server2 ~]# kubectl describe svc deployment 
Name:              deployment
Namespace:         default
Labels:            <none>
Annotations:       <none>
Selector:          app=nginx
Type:              ClusterIP
IP Families:       <none>
IP:                10.104.98.119
IPs:               10.104.98.119
Port:              <unset>  80/TCP
TargetPort:        80/TCP
Endpoints:         10.244.1.71:80,10.244.1.72:80,10.244.1.73:80
Session Affinity:  None
Events:            <none>

[root@server2 ~]# iptables -t nat -nL | grep :80
DNAT       tcp  --  0.0.0.0/0            0.0.0.0/0            /* default/deployment */ tcp to:10.244.1.71:80
DNAT       tcp  --  0.0.0.0/0            0.0.0.0/0            /* default/deployment */ tcp to:10.244.1.72:80
DNAT       tcp  --  0.0.0.0/0            0.0.0.0/0            /* default/deployment */ tcp to:10.244.1.73:80
KUBE-MARK-MASQ  tcp  -- !10.244.0.0/16        10.104.98.119        /* default/deployment cluster IP */ tcp dpt:80
KUBE-SVC-ZBZTQJVIH62KRRHU  tcp  --  0.0.0.0/0            10.104.98.119        /* default/deployment cluster IP */ tcp dpt:80

开启kube-proxy的ipvs模式

yum install -y ipvsadm 	#所有节点
$ kubectl edit cm kube-proxy -n kube-system	#修改ipvs模式
mode: "ipvs"
$ kubectl get pod -n kube-system |grep kube-proxy | awk '{system("kubectl delete pod "$1" -n kube-system")}'
#更新kube-proxy pod

kube-proxy pod
可以观察到建立的副本数，当文件里面 的副本数发生改变的时候，可以直接在此处观察到，lvs负载均衡器
kube-proxy通过linux的IPVS模块，以rr轮询方式调度service中的Pod

ipvs模式负载均衡

[root@server2 ~]# cat service.yml rs.yml > demo.yml
[root@server2 ~]# vim demo.yml 
[root@server2 ~]# kubectl get pod -L app
[root@server2 ~]# vim demo.yml 
---
apiVersion: v1
kind: Service
metadata:
  name: myservice
spec:
  selector:
    app: myapp
  ports:
  - protocol: TCP
    port: 80
    targetPort: 80
  #clusterIP: None
  #type: NodePort     ##改为NodePort
  #type: LoadBalancer
  #externalIPs:
  #  - 192.168.0.10
---

apiVersion: apps/v1
kind: Deployment
metadata:
  name: demo2
spec:
  replicas: 3
  selector:
    matchLabels:
      app: myapp
  template:
    metadata:
      labels:
        app: myapp
    spec:
      containers:
      - name: myapp
        image: myapp:v2
[root@server2 ~]# kubectl apply -f demo.yml    ##创建services和pod
service/myservice created
deployment.apps/demo2 created
[root@server2 ~]# kubectl get svc  ##查看服务
[root@server2 ~]# kubectl describe svc myservice
[root@server2 ~]# ip addr
[root@server2 ~]# ipvsadm -ln   ##查看对应的负载均衡
[root@server2 ~]# curl 10.108.244.104/hostname.html
demo2-67f8c948cf-qv8cl
[root@server2 ~]# curl 10.108.244.104/hostname.html
demo2-67f8c948cf-wcrlp
[root@server2 ~]# curl 10.108.244.104/hostname.html
demo2-67f8c948cf-f2zxw

k8s提供的dns服务插件

为整个集群提供dns解析

[root@server2 ~]# kubectl get services kube-dns --namespace=kube-system
NAME       TYPE        CLUSTER-IP   EXTERNAL-IP   PORT(S)                  AGE
kube-dns   ClusterIP   10.96.0.10   <none>        53/UDP,53/TCP,9153/TCP   28d

[root@server2 ~]# kubectl attach demo -it    ##如果有demo就直接进
[root@server2 ~]# kubectl  run demo --image=busyboxplus -it  ##没有demo创建demo

[root@server2 ~]# yum install bind-utils -y   ##安装dig工具
[root@server2 ~]# dig myservice.default.svc.cluster.local. @10.96.0.10  ##通过dig进行测试

Headless Service “无头服务”

• Headless Service不需要分配一个VIP，而是直接以DNS记录的方式解析出被代理Pod的IP地址。
• 域名格式：$(servicename).$(namespace).svc.cluster.local

[root@server2 ~]# vim demo.yml 
  clusterIP: None  ##无头服务
   replicas: 6
[root@server2 ~]# kubectl apply