CNI 网络分析 4.2 Calico 介绍与原理（二）

已于 2023-02-23 22:46:01 修改
阅读量636 收藏 1
点赞数
分类专栏： CNI 从零开始 文章标签： 网络 CNI kubernetes
于 2023-02-14 10:22:51 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/mr1jie/article/details/129022237
版权

文章目录

Calico 介绍与原理（二）

CNI

  • 支持多种 datapath，默认是 linuxDataplane，支持 CRI 调用时 选择 grpc 实现的 dataplane，还支持 vpp 或自己的 dataplane
  • 通过 ipam 获取到 ip 后，DoNetworking
func (d *linuxDataplane) DoNetworking(
    ctx context.Context,
    calicoClient calicoclient.Interface,
    args *skel.CmdArgs,
    result *cniv1.Result,
    desiredVethName string,
    routes []*net.IPNet,
    endpoint *api.WorkloadEndpoint,
    annotations map[string]string,
)
  • Ns 里创建 veth 设备
  • Host 端网卡 calixxx 配置 mac ee:ee:ee:ee:ee:ee
  • 如果有 ipv6 地址，关闭 DAD
  • Linkup 网卡
  • 通过 annotation 查 是否指定 mac，指定则配置指定的 mac
  • 配置 ns 里路由 default via 169.254.1.1 dev eth0，169.254.1.1 dev eth0 scope link
  • 如果有 ipv6，设置 /proc/sys/net/ipv6/conf/all/disable_ipv6 = 0， /proc/sys/net/ipv6/conf/default/disable_ipv6 = 0，/proc/sys/net/ipv6/conf/lo/disable_ipv6 = 0，创建 ip route6
  • 为 ns 里网卡配置 ip
  • 开启 ipforwarding
  • 开启 /proc/sys/net/ipv4/conf/calixxx/route_localnet = 1，Enable routing to localhost
  • /proc/sys/net/ipv4/neigh/calixxx/proxy_delay = 0，arp 延迟，calico 不需要
  • /proc/sys/net/ipv4/conf/calixxx/proxy_arp = 1，开启 arp 代理
  • /proc/sys/net/ipv4/conf/calixxx/forwarding。
  • 在 host 配置到该 ip 的路由指向 calixxx。
  • 通过 annotation 检查是否有浮动 ip 配置，创建 ipnat
  • 创建 WorkloadEndpoints
  • done

Pod 创建完后，pod 内部默认路由指向 169.254.1.1，且 veth host 端配置了 arp_proxy，配置的 mac 是 ee:ee:ee:ee:ee:ee，所以 pod 内部下一跳都是 169.254.1.1

# ip netns exec cni-138c93d8-c975-8b38-3154-1dccf5ed9d83 ip r
default via 169.254.1.1 dev eth0 
169.254.1.1 dev eth0 scope link 

# ip netns exec cni-138c93d8-c975-8b38-3154-1dccf5ed9d83 ip a
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1000
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
       valid_lft forever preferred_lft forever
    inet6 ::1/128 scope host 
       valid_lft forever preferred_lft forever
2: tunl0@NONE: <NOARP> mtu 1480 qdisc noop state DOWN group default qlen 1000
    link/ipip 0.0.0.0 brd 0.0.0.0
4: eth0@if11: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1480 qdisc noqueue state UP group default 
    link/ether 32:21:45:c4:c5:d5 brd ff:ff:ff:ff:ff:ff link-netnsid 0
    inet 10.244.153.204/32 scope global eth0
       valid_lft forever preferred_lft forever
    inet6 fe80::3021:45ff:fec4:c5d5/64 scope link 
       valid_lft forever preferred_lft forever

# ip netns exec cni-138c93d8-c975-8b38-3154-1dccf5ed9d83 ip neighbor
169.254.1.1 dev eth0 lladdr ee:ee:ee:ee:ee:ee REACHABLE 
172.18.22.111 dev eth0 lladdr ee:ee:ee:ee:ee:ee STALE

IPAM

  • 默认使用 “calico-ipam” IPAM
  • 先获取 namespace 是否通过 annotation 配置 ippool，pod 是否配置 ippool
  • 获取 pod annotation 是否有 cni.projectcalico.org/ipAddrsNoIpam，cni.projectcalico.org/ipAddrs
    ipAddrsNoIpam := annot["cni.projectcalico.org/ipAddrsNoIpam"]
    ipAddrs := annot["cni.projectcalico.org/ipAddrs"]

    // Switch based on which annotations are passed or not passed.
    switch {
    case ipAddrs == "" && ipAddrsNoIpam == "":
    case ipAddrs != "" && ipAddrsNoIpam != "":
    case ipAddrsNoIpam != "":
    case ipAddrs != "":
  1. 全不配置时，直接代理调取 calico-ipam 二进制
  2. 全配置时，失败
  3. 只配置 ipAddrsNoIpam 时，必须是 calico-ipam 类型，会配置成所指定的 IP
  4. 只配置 ipAddrs 时，必须是 calico-ipam 类型，先 calico.IPAM().ReleaseIPs ip，再使用指定的 IP 去代理调用 calico-ipam
  • 通过调用 calicoClient.IPAM().AutoAssign(ctx, assignArgs) 获取 ip
  • 获取 预留 IP 和 cidr，预留 IP 和 cidr 可以通过 资源 IPReservation 进行配置
  • 通过 node 相关的 cidr 去获取一个 ip。

指定 IP

apiVersion: v1
kind: Pod
metadata:
  name: pod5
  namespace: default
  annotations:
    cni.projectcalico.org/ipAddrs: "[\"10.244.153.250\"]"
spec:
  containers:
  - name: pod5
    image: nginx
    ports:
    - name: nginx-port
      containerPort: 80
      protocol: TCP

default       pod5    1/1     Running   0              115s    10.244.153.250

指定非 IPAM IP

需要先开启 feature

# kubectl edit configmap calico-config -n kube-system
// 添加
          "feature_control": {
              "ip_addrs_no_ipam": true,
              "floating_ips": true
          }

apiVersion: v1
kind: Pod
metadata:
  name: pod5
  namespace: default
  annotations:
    cni.projectcalico.org/ipAddrsNoIpam: "[\"80.90.100.200\"]"
spec:
  containers:
  - name: pod5
    image: nginx
    ports:
    - name: nginx-port
      containerPort: 80
      protocol: TCP

pod5   1/1     Running   0             54s     80.90.100.200    node112

当然只有本节点能通，其他节点需要自己解决路由问题

Floating_ips
apiVersion: v1
kind: Pod
metadata:
  name: pod5
  namespace: default
  annotations:
    cni.projectcalico.org/floatingIPs: "[\"172.18.22.113\"]"
spec:
  containers:
  - name: pod5
    image: nginx
    ports:
    - name: nginx-port
      containerPort: 80
      protocol: TCP

- apiVersion: projectcalico.org/v3
  kind: WorkloadEndpoint
  metadata:
    creationTimestamp: "2023-02-14T02:03:01Z"
    labels:
      projectcalico.org/namespace: default
      projectcalico.org/orchestrator: k8s
      projectcalico.org/serviceaccount: default
    name: node112-k8s-pod5-eth0
    namespace: default
    resourceVersion: "4509106"
    uid: beb345d3-6e9f-4144-918d-4f96fa8aada5
  spec:
    containerID: dc36d90f05c1890f78b8bb8ddc72426c2730ce60b58bf926b946d0131f620c78
    endpoint: eth0
    interfaceName: cali8e9fad9b07c
    ipNATs:
    - externalIP: 172.18.22.113
      internalIP: 10.244.146.203
    ipNetworks:
    - 10.244.146.203/32
    node: node112
    orchestrator: k8s
    pod: pod5
    ports:
    - hostIP: ""
      hostPort: 0
      name: nginx-port
      port: 80
      protocol: TCP
    profiles:
    - kns.default
    - ksa.default.default
    serviceAccountName: default
kind: WorkloadEndpointList
metadata:
  resourceVersion: "4509937"

NetworkPolicy

说明

除了支持 k8s api 定义的 networkPolicy，同样有一套自己定义的更丰富的 networkPolicy，和 k8s 定义的使用原则一样，白名单规则。selector 支持写表达式。

  • 策略可以应用于任何类型的端点：pod/容器、VM和/或主机接口
  • 策略可以定义适用于入口、出口或两者的规则
  • 策略规则支持：
    • 操作：允许、拒绝、记录、通过
    • 源和目标匹配条件：
      • 端口：编号、范围内的端口和Kubernetes命名的端口
      • 协议：TCP、UDP、ICMP、SCTP、UDPlite、ICMPv6、协议编号（1-255）
      • HTTP属性（如果使用Istio服务网格）
      • ICMP属性
      • IP版本（IPv4、IPv6）
      • IP或CIDR
      • 端点选择器（使用标签表达式选择pod、VM、主机接口和/或网络集）
      • 命名空间选择器
      • 服务帐户选择器
  • 可选的数据包处理控制：禁用连接跟踪、在DNAT之前应用、应用于转发流量和/或本地终止流量

Endpoints 定义

Endpoint 包括 workload endpoint 和 host endpoint，workload endpoint 对应 k8s 的 pod 或 openstack 的 vm。
Host endpoint 对应着 host 上的一组 interface

Global

Calico networkPolicy 是 namespaced 的资源，应用于 该 namespace，全局的则使用 global networkPolicy。这是两种资源

Traffic 行为

action：allow，deny，Log，Pass 支持四种方法

  • 如果 pod 没有规则，所有流量 allow
  • 如果 ingress 有规则，则只有匹配到规则的才可以进
  • 如果 egress 有规则，则只有匹配到规则的才可以出
  • Log 是会将流量打到 syslog
  • Pass 跳过其他的策略，跳到给 workloadendpoint 的第一个 profile

Order

策略应用顺序，序号越大越后执行，根据 iptables chain 顺序，order 越小优先级越高。kubernetes networkpolicy 默认 order 1000

Protocol

支持 TCP, UDP, ICMP, ICMPv6, SCTP, UDPLite, 1-255，同样支持 notProtocol

ICMP

支持 ICMP 和 notICMP

ipVersion

配置 4，6

http

http:
  methods: ['GET', 'PUT']
  paths:
    - exact: '/projects/calico'
    - prefix: '/users'

挖个坑，http 需结合 Istio，等到介绍 Istio 来进行分析

Selector

Selector 是一个表达式，它根据标签与资源匹配或不匹配。
Calico 标签选择器支持许多运算符，可以使用布尔运算符和括号将它们组合成更大的表达式。
例如

! has(my-label) || my-label starts with 'prod' && role in {'frontend','business'}

示例

  1. Ingress allow
apiVersion: projectcalico.org/v3
kind: NetworkPolicy
metadata:
  name: allow-tcp-80
  namespace: default
spec:
  selector: app == 'nginx'
  ingress:
    - action: Allow
      protocol: TCP
      source:
        selector: role == 'pod1'
      destination:
        ports:
          - 80

app == nginx label 的 pod 只允许被 role == pod1 label 的且是 default ns 里的 pod 可以访问

  1. Ingress + namespaceselector allow
apiVersion: projectcalico.org/v3
kind: NetworkPolicy
metadata:
  name: allow-tcp-80
  namespace: default
spec:
  selector: app == 'nginx'
  ingress:
    - action: Allow
      protocol: TCP
      source:
        selector: role == 'pod1'
        namespaceSelector: user == 'xujunjie'
      destination:
        ports:
          - 80

app == nginx label 的 pod 只允许被 role == pod1 label 的且所在 namespace 有 user == xujunjie label 里的 pod 可以访问 ；此外还支持 serviceAccountSelector

  1. Ingress + global deny
apiVersion: projectcalico.org/v3
kind: GlobalNetworkPolicy
metadata:
  name: deny-80
spec:
  selector: app == 'nginx'
  ingress:
    - action: Deny
      protocol: TCP
      source:
        selector: role == 'pod1'

App == ‘nginx’ ingress 全拒绝，因为是白名单，所以只要有 ingress 策略，就默认全不通，然后只有 deny，所以全不通。所以这么设置意义不大

  1. Ingress + global deny + allow + 表达式
apiVersion: projectcalico.org/v3
kind: GlobalNetworkPolicy
metadata:
  name: deny-80
spec:
  selector: app == 'nginx'
  ingress:
    - action: Deny
      protocol: TCP
      source:
        selector: role == 'pod1'
    - action: Allow
      protocol: TCP
      source:
        namespaceSelector: user == 'xujunjie' && (! has(privileged-namespace))

App == nginx 的 pod ingress 只允许 user == xujunjie 且没有 privileged-namespace 的 namespace 访问。

  1. Ingress + global deny + allow + multus selector
apiVersion: projectcalico.org/v3
kind: GlobalNetworkPolicy
metadata:
  name: deny-80
spec:
  selector: app == 'nginx'
  ingress:
    - action: Deny
      protocol: TCP
      source:
        selector: role == 'pod1'
    - action: Allow
      protocol: TCP
      source:
        selector: role == 'pod1'
        namespaceSelector: user == 'xujunjie' && (! has(privileged-namespace))

App == nginx 的 pod ingress 只允许 user == xujunjie 且没有 privileged-namespace 的 namespace 而且 pod 需要有 role == ‘pod1’ 访问。

  1. Egress + cidr + ports
apiVersion: projectcalico.org/v3
kind: GlobalNetworkPolicy
metadata:
  name: egress80
spec:
  selector: role == 'pod1'
  types:
    - Egress
  egress:
    - action: Allow
      protocol: TCP
      destination:
        nets:
          - 10.244.146.192/26
        ports:
          - 80

Role == ‘pod1’ 的 workload 只能访问 10.244.146.192/26 TCP 80 端口
Ports 支持单个 port，port 范围，或 port name（workload 里的 port name）： [8080, ‘1234:5678’, ‘named-port’]

  1. Ingress + order
apiVersion: projectcalico.org/v3
kind: GlobalNetworkPolicy
metadata:
  name: deny-80
spec:
  order: 3000
  selector: app == 'nginx'
  ingress:
    - action: Deny
      protocol: TCP
      source:
        selector: role == 'pod1'

---
apiVersion: projectcalico.org/v3
kind: GlobalNetworkPolicy
metadata:
  name: allow-80
spec:
  order: 2000
  selector: app == 'nginx'
  ingress:
    - action: Allow
      protocol: TCP
      source:
        selector: role == 'pod1'

Order 2000 执行，role == ‘pod1’ 可以访问 app == ‘nginx’

  1. Ingress + Log
apiVersion: projectcalico.org/v3
kind: NetworkPolicy
Metadata:
  name: log-80
Spec:
  selector: app == 'nginx'
  types:
    - Ingress
  ingress:
    - action: Log
      protocol: TCP
      source:
        selector: role == 'pod1'
    - action: Allow
      protocol: TCP
      source:
        selector: role == 'pod1'

app == ‘nginx’ 可以被 role == ‘pod1’ 访问 且会有syslog。

# dmesg
[606874.480824] calico-packet: IN=calice0906292e2 OUT=calibd2348b4f67 MAC=ee:ee:ee:ee:ee:ee:32:21:45:c4:c5:d5:08:00 SRC=10.244.153.204 DST=10.244.153.201 LEN=60 TOS=0x00 PREC=0x00 TTL=63 ID=59627 DF PROTO=TCP SPT=41528 DPT=80 WINDOW=64800 RES=0x00 SYN URGP=0
junjie xu
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
kubernet+calico二进制安装及总结
weixin_34174422的博客
03-13 4322
Kubernetes部署了好多遍了，但是每次还是会遇到各种问题。有的是新版本问题，有的是以前踩过的坑。因为没有文档记录，坑还在那里，我也还在那里。本文是以二进制的方式部署，这样方便我们发现和解决问题。环境说明：角色组件IP备注Masterkube-apiserver kube-scheduler kube-controller-manageretcd10.8.8.27Node...
部署CNI网络插件calico.yaml，下载这个自行修改
01-09
部署CNI网络插件calico.yaml，下载这个自行修改
calico+NetworkPolicy实践
09-27
calico简介 NetworkPolicy简介 租户间网络隔离方案及方案用例测试演示
Calico网络策略原理
Blue summer的博客
12-23 1199
注：本文基于Calico v3.20.1版本编写 1 calico支持网络策略的基础 calico网络插件中，所有pod的网络设备并没有像flannel一样连接到网桥docker0上，这样每个pod的网络都有独立的链路，而这就是支持网络策略的基础。如果都连接到网桥，那所有pod都互通，并且没有办法做隔离。
灵活使用GlobalNetworkPolicy（calico）
最新发布
a882261的博客
05-17 120
# 全局模式配置有相同label命名空间互访。
Calico 网络策略深度解析
云原生实验室
03-14 1849
本文主要探讨 Calico 项目如何实现 Kubernetes 的网络策略（Network Policy）。网络策略是一种以应用为中心的结构，设置规则来指定 Pod 如何与各类网络“实体”...
k8s集群搭建+calico系列2之示例
qq_42923297的博客
11-07 492
一、集群创建pod 上节我们搭建好了两节点集群，这一节我们来创建pod，实现一个简单的Web示例。
kubernetes1.25网络插件calico离线包
12-18
kubernetes1.25网络插件calico离线包，包含calico.yml文件，如果网络不通可以离线安装 1、calico~cni~v3.24.3.tar.gz 2、calico~kube~controllers~v3.24.3.tar.gz 3、calico~node~v3.24.3.tar.gz calico.yml命令：...
calico-cni-3.10.2.tar
02-12
docker calico-cni-3.10.2 镜像 使用方法： 1、保存到/tmp下 2、docker load -i /tmp/calico-cni-3.10.2.tar 验证： docker images
34 _ Kubernetes网络模型与CNI网络插件1
08-04
第一类，叫作 Main 插件，它是用来创建具体网络设备的二进制文件 第二类，叫作 IPAM（IP Address Management）插件，它是负责分配 IP
gardener-extension-networking-calico:用于Calico CNI网络插件的Gardener扩展控制器
04-13
它管理那些请求配置（ .spec.type=calico ）的对象： ---apiVersion : extensions.gardener.cloud/v1alpha1kind : Networkmetadata : name : calico-network namespace : shoot--core--test-01spec : type : calico...
k8s 指定pod的ip
qq_42533216的博客
09-28 2629
使用如下配置给pod固定ip。
calico IPPOOL
不忘初心，方得始终
05-22 2464
提示：以下配置都要确认calico的类型是“calico-ipam” cat /etc/cni/net.d/10-calico.conflist "ipam": { "type": "calico-ipam" }, 一、IPPool配置 全局配置不区分某一个namespace apiVersion: projectcalico.org/v3
Kubernetes（k8s）CNI（Calico）网络模型原理
匠人精神，持之以恒！
11-19 3281
Calico 是一个联网和网络策略供应商。 Calico 支持一套灵活的网络选项，因此你可以根据自己的情况选择最有效的选项，包括非覆盖和覆盖网络，带或不带 BGP。 Calico 使用相同的引擎为主机、Pod 和（如果使用 Istio 和 Envoy）应用程序在服务网格层执行网络策略。Calico以其性能、灵活性而闻名。Calico的功能更为全面，更为复杂。它不仅提供主机和pod之间的网络连接，还涉及网络安全和管理。Calico CNI插件在CNI（container network interface）框
【kubernetes/k8s概念】CNI plugin calico源码分析
zhonglinzhang
09-18 7175
https://github.com/projectcalico/cni-plugin，release-v3.8 calico 解决不同物理机上容器之间的通信，而 calico-plugin 是在 k8s 创建 Pod 时为 Pod 设置虚拟网卡(容器中的eth0和lo网卡)，calico-plugin 是由两个静态的二进制文件组成，由 kubelet 以命令行的形式调用，这...
Calico-介绍、原理与使用
热门推荐
qq_23435961的博客
06-10 2万+
Calico-介绍、原理与使用 什么是 Calico ？ Calico 是一套开源的网络和网络安全方案，用于容器、虚拟机、宿主机之前的网络连接，可以用在kubernetes、OpenShift、DockerEE、OpenStrack等PaaS或IaaS平台上。 Calico 组件概述 Felix：calico的核心组件，运行在每个节点上。主要的功能有接口管理、路由规则、ACL规则和状态报告 接口管理：Felix为内核编写一些接口信息，以便让内核能正确的处理主机endpoint的流量。特别是主机之间的A
calico网络学习一(容器和calico的veth pair通讯过程)
纵横四海的博客
05-22 3863
容器和calico的veth pair通讯过程 本文章分析的前提是在calico部署在k8s上，并开启了ipip的功能 root@test-master-113 ~]# calicoctl get ippool -oyaml - apiVersion: v1 kind: ipPool metadata: cidr: 192.168.0.0/16 spec: ip...
关于FD.io VPP的最新消息
RToax
10-06 2058
Table of Contents CuVPP：软件数据平面中基于过滤器的最长前缀匹配 快速数据项目的矢量包处理器（VPP）版本20.05 2020年打破神话的DPDK 在商品硬件上使用Calico / VPP创建40G加密的容器网络 带有FD.io VPP的内核旁路网络 在FD.io VPP中构建快速QUIC套接字 FD.io 20.01版改进了多核IPSec 引入通用深层数据包检查（UDPI），这是一个新的FD.io项目 FD.io第六版对Kubernetes网络进行了改进 SDxC
kubelet sandbox创建与calico cni网络配置流程 (二)
polarwu的博客
09-13 1959
上一篇文章分析了kubelet创建pod时首先需要创建一个sandbox容器，该容器保证了k8s的pod中多个容器使用同一个网络命名空间，每个容器能够像访问本地端口一样访问对端容器端口。虽然sandbox的创建流程和运行时参数配置的代码我们都一一分析过了，实际的容器网络也是调用cni插件配置，但是cni插件是怎么工作的呢，这一节我们着重从cni(以caliclo为例)插件一端分析网络配置过程。...
multus-cni 多网络cni插件源码分析
05-09
接着，multus-cni 调用下层 CNI 插件（比如 flannel、calico、ovs 等）完成网络接口的创建和配置；最后，multus-cni 继续执行其他 CNI 插件（比如 ipvlan、macvlan、bridge 等）完成其他网络接口的创建和配置。 ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值