calico 理论篇和使用篇以及完全二进制安装

最新推荐文章于 2024-02-05 23:29:19 发布
最新推荐文章于 2024-02-05 23:29:19 发布
阅读量2.4k 收藏 7
点赞数 2
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Michaelwubo/article/details/111285486
版权

目前使用较多的网络插件有 flannel，calico，wear，canel等，但是如果对比以上几种网络插件的性能，还是calico最受欢迎。

 

简单来说，实现docker跨主机容器间通信，常用的第三方网络方案是Flannel，Weave，Calico：
Flannel会为每个host分配一个subnet，容器从这个subnet中分配ip，这些ip可以在host间路由，容器间无需NAT和port mapping转发就可以实现跨主机通信。Flannel网络没有提供Docker DNS服务， 容器间不能通过hostname访问。

Weave对于容器来说，它就像是一个巨大的以太网交换机， 所有容器都被接入到这个交换机，同样容器间无需NAT和port mapping转发就可以实现跨主机通信。Weave网络提供了Docker DNS服务， 容器之间可以通过hostname访问。

Calico是一个纯三层的虚拟网络，它会为每个容器分配一个ip，每个host都是router，把不同host的容器连接起来，从而实现跨主机间容器通信。与vxlan不同的是，calico网络不对数据包进行额外封装，不需要NAT和端口映射，扩展性和 性能都很好。Calico网络提供了Docker DNS服务， 容器之间可以通过hostname访问。

以上三种网络方案区别：
1）从网络模型上来说
-> Flannel网络有两种模式：vxlan模式是一种overlay覆盖网络，而host-gw模式将主机作为网关，依赖于纯三层的ip转发；
-> Weave网络是一种overlay覆盖网络；
-> Calico网络也是一种纯三层的网络；
(overlay是基于vxlan的虚拟网络，可以将二层网络数据封装到UDP进行传输，在主机间建立vxlan虚拟隧道，实现跨主机容器之间通信)。

2）分布式存储（Distributed Store）
-> Flannel和Calico都需要分布式健值存储数据库(key-values)，比如etcd或consul；
-> Weave自己负责在主机间交换网络配置信息，不需要etcd或consul这些数据库；

3）IP地址管理（IPAM）
-> Flannel为每个主机自动分配独立的subnet，用户只需要指定一个大的IP池。不同subnet之间的路由信息也由Flannel自动生成和配置。
-> Weave默认配置下所有容器使用10.32.0.0/12的subnet，如果此地址空间与现有IP冲突，则可以通过--ipalloc-range分配特定的subnet。
-> Calico通过IP Pool可以为每个主机定制自己的subnet。

4）网络连通和隔离
-> 不同Flannel网络中的容器可以直接通信，Flannel没有提供网络隔离。与外网通信可以通过bridge网络。
-> Weave网络默认配置下所有容器在一个大的subnet中，可以自由通信，如果要实现网络隔离，需要为容器指定不同的subnet或IP。若要与外网通信，则需要将主机加入到weave网络，并把主机当作网关。
-> Calico默认配置下只允许同一网络中的容器之间通信，但通过其强大的Policy能够实现几乎任意场景的访问控制。

之前详细介绍了Flannel网络、Weave网络，下面就说下Calico网络的相关知识：

一、Calico 基本介绍
Calico是一个纯三层的协议，为OpenStack虚机和Docker容器提供多主机间通信。Calico不使用重叠网络比如flannel和libnetwork重叠网络驱动，它是一个纯三层的方法，使用虚拟路由代替虚拟交换，每一台虚拟路由通过BGP协议传播可达信息（路由）到剩余数据中心。

二、Calico 结构组成
Calico不使用重叠网络比如flannel和libnetwork重叠网络驱动，它是一个纯三层的方法，使用虚拟路由代替虚拟交换，每一台虚拟路由通过BGP协议传播可达信息（路由）到剩余数据中心；Calico在每一个计算节点利用Linux Kernel实现了一个高效的vRouter来负责数据转发，而每个vRouter通过BGP协议负责把自己上运行的workload的路由信息像整个Calico网络内传播——小规模部署可以直接互联，大规模下可通过指定的BGP route reflector来完成。

结合上面这张图，我们来过一遍 Calico 的核心组件：
Felix： Calico agent，跑在每台需要运行 workload 的节点上，主要负责配置路由及 ACLs 等信息来确保 endpoint 的连通状态；
etcd：分布式键值存储，主要负责网络元数据一致性，确保 Calico 网络状态的准确性；
BGPClient(BIRD)：主要负责把 Felix 写入 kernel 的路由信息分发到当前 Calico 网络，确保 workload 间的通信的有效性；
BGP Route Reflector(BIRD)： 大规模部署时使用，摒弃所有节点互联的 mesh 模式，通过一个或者多个BGP Route Reflector来完成集中式的路由分发；

通过将整个互联网的可扩展 IP 网络原则压缩到数据中心级别，Calico 在每一个计算节点利用Linux kernel实现了一个高效的vRouter来负责数据转发而每个vRouter通过BGP
协议负责把自己上运行的 workload 的路由信息像整个 Calico 网络内传播 － 小规模部署可以直接互联，大规模下可通过指定的BGP route reflector 来完成。这样保证最终所有的 workload 之间的数据流量都是通过 IP 包的方式完成互联的。

三、Calico 工作原理
Calico把每个操作系统的协议栈认为是一个路由器，然后把所有的容器认为是连在这个路由器上的网络终端，在路由器之间跑标准的路由协议——BGP的协议，然后让它们自己去学习这个网络拓扑该如何转发。所以Calico方案其实是一个纯三层的方案，也就是说让每台机器的协议栈的三层去确保两个容器，跨主机容器之间的三层连通性。

对于控制平面，它每个节点上会运行两个主要的程序，一个是Felix，它会监听ECTD中心的存储，从它获取事件，比如说用户在这台机器上加了一个IP，或者是分配了一个容器等。接着会在这台机器上创建出一个容器，并将其网卡、IP、MAC都设置好，然后在内核的路由表里面写一条，注明这个IP应该到这张网卡。绿色部分是一个标准的路由程序，它会从内核里面获取哪一些IP的路由发生了变化，然后通过标准BGP的路由协议扩散到整个其他的宿主机上，让外界都知道这个IP在这里，你们路由的时候得到这里来。

由于Calico是一种纯三层的实现，因此可以避免与二层方案相关的数据包封装的操作，中间没有任何的NAT，没有任何的overlay，所以它的转发效率可能是所有方案中最高的，因为它的包直接走原生TCP/IP的协议栈，它的隔离也因为这个栈而变得好做。因为TCP/IP的协议栈提供了一整套的防火墙的规则，所以它可以通过IPTABLES的规则达到比较复杂的隔离逻辑。

Calico节点组网可以直接利用数据中心的网络结构（支持 L2 或者 L3），不需要额外的 NAT，隧道或者 VXLAN overlay network。 

如上图所示，这样保证这个方案的简单可控，而且没有封包解包，节约 CPU 计算资源的同时，提高了整个网络的性能。此外，Calico 基于 iptables 还提供了丰富而灵活的网络 policy, 保证通过各个节点上的 ACLs 来提供 workload 的多租户隔离、安全组以及其他可达性限制等功能。

四、Calico网络方式（两种）
1）IPIP
从字面来理解，就是把一个IP数据包又套在一个IP包里，即把 IP 层封装到 IP 层的一个 tunnel，看起来似乎是浪费，实则不然。它的作用其实基本上就相当于一个基于IP层的网桥！一般来说，普通的网桥是基于mac层的，根本不需 IP，而这个 ipip 则是通过两端的路由做一个 tunnel，把两个本来不通的网络通过点对点连接起来。ipip 的源代码在内核 net/ipv4/ipip.c 中可以找到。

2）BGP
边界网关协议（Border Gateway Protocol, BGP）是互联网上一个核心的去中心化自治路由协议。它通过维护IP路由表或‘前缀’表来实现自治系统（AS）之间的可达性，属于矢量路由协议。BGP不使用传统的内部网关协议（IGP）的指标，而使用基于路径、网络策略或规则集来决定路由。因此，它更适合被称为矢量性协议，而不是路由协议。BGP，通俗的讲就是讲接入到机房的多条线路（如电信、联通、移动等）融合为一体，实现多线单IP，BGP 机房的优点：服务器只需要设置一个IP地址，最佳访问路由是由网络上的骨干路由器根据路由跳数与其它技术指标来确定的，不会占用服务器的任何系统。

五、Calico网络通信模型
calico是纯三层的SDN 实现，它基于BPG 协议和Linux自身的路由转发机制，不依赖特殊硬件，容器通信也不依赖iptables NAT或Tunnel 等技术。
能够方便的部署在物理服务器、虚拟机（如 OpenStack）或者容器环境下。同时calico自带的基于iptables的ACL管理组件非常灵活，能够满足比较复杂的安全隔离需求。

在主机网络拓扑的组织上，calico的理念与weave类似，都是在主机上启动虚拟机路由器，将每个主机作为路由器使用，组成互联互通的网络拓扑。当安装了calico的主机组成集群后，其拓扑如下图所示：

每个主机上都部署了calico/node作为虚拟路由器，并且可以通过calico将宿主机组织成任意的拓扑集群。当集群中的容器需要与外界通信时，就可以通过BGP协议将网关物理路由器加入到集群中，使外界可以直接访问容器IP，而不需要做任何NAT之类的复杂操作。

当容器通过calico进行跨主机通信时，其网络通信模型如下图所示：

从上图可以看出，当容器创建时，calico为容器生成veth pair，一端作为容器网卡加入到容器的网络命名空间，并设置IP和掩码，一端直接暴露在宿主机上，
并通过设置路由规则，将容器IP暴露到宿主机的通信路由上。于此同时，calico为每个主机分配了一段子网作为容器可分配的IP范围，这样就可以根据子网的
CIDR为每个主机生成比较固定的路由规则。

当容器需要跨主机通信时，主要经过下面的简单步骤：
-  容器流量通过veth pair到达宿主机的网络命名空间上。
-  根据容器要访问的IP所在的子网CIDR和主机上的路由规则，找到下一跳要到达的宿主机IP。
-  流量到达下一跳的宿主机后，根据当前宿主机上的路由规则，直接到达对端容器的veth pair插在宿主机的一端，最终进入容器。

从上面的通信过程来看，跨主机通信时，整个通信路径完全没有使用NAT或者UDP封装，性能上的损耗确实比较低。但正式由于calico的通信机制是完全基于三层的，这种机制也带来了一些缺陷，例如：
-  calico目前只支持TCP、UDP、ICMP、ICMPv6协议，如果使用其他四层协议（例如NetBIOS协议），建议使用weave、原生overlay等其他overlay网络实现。
-  基于三层实现通信，在二层上没有任何加密包装，因此只能在私有的可靠网络上使用。
-  流量隔离基于iptables实现，并且从etcd中获取需要生成的隔离规则，有一些性能上的隐患。

 

一、calico概述

1.calico介绍

Calico是一个纯三层的网络插件，calico的bgp模式类似于flannel的host-gw

calico方便集成 OpenStack这种 IaaS云架构，为openstack虚拟机、容器、裸机提供多主机间通信。

2.calico原理

calico是一个纯三层的虚拟网络，它没有复用docker的docker0网桥，而是自己实现的， calico网络不对数据包进行额外封装，不需要NAT和端口映射，扩展性和性能都很好。Calico网络提供了DockerDNS服务， 容器之间可以通过hostname访问，Calico在每一个计算节点利用LinuxKernel实现了一个高效的vRouter（虚拟路由）来负责数据转发，它会为每个容器分配一个ip，每个节点都是路由，把不同host的容器连接起来，从而实现跨主机间容器通信。而每个vRouter通过BGP协议（边界网关协议）负责把自己节点的路由信息向整个Calico网络内传播——小规模部署可以直接互联，大规模下可通过指定的BGProute reflector来完成；Calico基于iptables还提供了丰富而灵活的网络策略，保证通过各个节点上的ACLs来提供多租户隔离、安全组以及其他可达性限制等功能。

3.calico网络模式

1）IPIP

把一个IP数据包又套在一个IP包里，即把IP层封装到IP层的一个 tunnel，它的作用其实基本上就相当于一个基于IP层的网桥，一般来说，普通的网桥是基于mac层的，根本不需要IP，而这个ipip则是通过两端的路由做一个tunnel，把两个本来不通的网络通过点对点连接起来；

calico以ipip模式部署完毕后，node上会有一个tunl0的网卡设备，这是ipip做隧道封装用的,也是一种overlay模式的网络。当我们把节点下线，calico容器都停止后，这个设备依然还在，执行 rmmodipip命令可以将它删除。

场景：用在跨网段通信的情况下，bgp模式在跨网段的场景将不能工作；

tunl0：创建的虚拟网卡设备，此时的作用就和flannel的VxLAN工作模式类似（此处的tunl0不是flannel的UDP模式中的tun0）

2）BGP

边界网关协议（BorderGateway Protocol, BGP）是互联网上一个核心的去中心化的自治路由协议。它通过维护IP路由表或‘前缀’表来实现自治系统（AS）之间的可达性，属于矢量路由协议。BGP不使用传统的内部网关协议（IGP）的指标，而是基于路径、网络策略或规则集来决定路由。因此，它更适合被称为矢量性协议，而不是路由协议，通俗的说就是将接入到机房的多条线路（如电信、联通、移动等）融合为一体，实现多线单IP；

BGP 机房的优点：服务器只需要设置一个IP地址，最佳访问路由是由网络上的骨干路由器根据路由跳数与其它技术指标来确定的，不会占用服务器的任何系统；

官方提供的calico.yaml模板里，默认打开了ip-ip功能，该功能会在node上创建一个设备tunl0，容器的网络数据会经过该设备被封装一个ip头再转发。这里，calico.yaml中通过修改calico-node的环境变量：CALICO_IPV4POOL_IPIP来实现ipip功能的开关：默认是Always，表示开启；Off表示关闭ipip。

bgp工作模式和flannel的host-gw模式几乎一样；

bird是bgd的客户端，与集群中其它节点的bird进行通信，以便于交换各自的路由信息；

随着节点数量N的增加，这些路由规则将会以指数级的规模快速增长，给集群本身网络带来巨大压力，官方建议小于100个节点；

限制：和flannel的host-gw限制一样，要求物理机在二层是连能的，不能跨网段；

3）Route Reflector模式：

在更大规模的集群中，需要通过Route Reflector模式专门创建一个或者几个专门的节点，负责跟所有的BGP客户端建立连接，从而学全全局的路由规则；

而其它节点，只需要跟这几个专门的节点交换路由信息，就可以获得整整个集群的路由信息

4.calico cross-subnet

ipip虽然实现了 calico 跨网段通信，但对于相同网段间的主机通信来说，IP-in-IP 就有点多余了，因为二者宿主机处于同一广播域，2层互通，直接走主机路由即可。此时需要借助calico cross-subnet。而此时就类似flanneld的vxlan+Directrouting 模式，同网段用host-gw，不同网段用vxlan隧道打通网络

calicoctl apply -f - << EOF
apiVersion: v1
kind: ipPool
metadata:
  cidr: 192.168.0.0/16
spec:
  ipip:
    enabled: true
    mode: cross-subnet
  nat-outgoing: true
EOF

 

只要物理网卡能连通，上面的各种也能连通，无外乎就是2大种类

1）网关+路由方式：ip route，iptable

2）隧道方式：模块，vxlan，gre，sit。内核的ppp，pp2p，pplp 等  

不管哪种方式最后都是物理网卡出去的，所以最终的数据包最外层都要是实打实的物理网卡的ip，mac相关信息。如vxlan的ip和mac是虚拟的 其他节点也不认识，所以要封装以下目的就是封装一个其他节点认识的ip和mac信息而物理机的ip和mac是认识的（https://blog.csdn.net/Michaelwubo/article/details/111288201）

参考

https://blog.csdn.net/tony_vip/article/details/108387890

https://www.cnblogs.com/zqliu8/p/11605839.html

https://www.cnblogs.com/kevingrace/p/6864804.html

https://zhuanlan.zhihu.com/p/306623547

https://blog.csdn.net/Michaelwubo/article/details/111288201

 

六、Docker+Calico 部署记录

1）环境准备

10.10.1.216  node1   安装docker+etcd+calicoctl

10.10.1.219  node2   安装docker+calicoctl

10.10.1.167  node3   安装docker+calicoctl

[root@localhost ~]# cat /etc/redhat-release 
CentOS Linux release 7.8.2003 (Core)

关闭三台主机的防火墙。若开启iptables防火墙，则需要打开2380端口通信。 

 


[root@node1 ~]# systemctl disable firewalld.service
[root@node1 ~]# systemctl stop firewalld.service
[root@node1 ~]# iptables -F

三台集机器上的ip转发功能打开 

[root@localhost ~]# cat /etc/sysctl.conf 
net.ipv4.ip_forward = 1
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
[root@localhost ~]# sysctl -p
net.ipv4.ip_forward = 1
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1

2）安装docker（三个节点都要安装）略

3）构建etcd单点10.10.1.216

[root@localhost ~]# cat /etc/etcd/etcd.conf  | grep -v "^#"
ETCD_DATA_DIR="/var/lib/etcd/default.etcd"
ETCD_LISTEN_PEER_URLS="http://0.0.0.0:2380"
ETCD_LISTEN_CLIENT_URLS="http://0.0.0.0:2379,http://0.0.0.0:4001"
ETCD_NAME="node1"
ETCD_INITIAL_ADVERTISE_PEER_URLS="http://10.10.1.216:2380"
ETCD_ADVERTISE_CLIENT_URLS="http://10.10.1.216:2379"

接着修改三个节点的docker配置文件,使docker支持etcd

[root@localhost ~]# cat /etc/sysconfig/docker
OPTIONS='--selinux-enabled --log-driver=journald --signature-verification=false  --cluster-store=etcd://10.10.1.216:2379'

[root@localhost ~]# systemctl daemon-reload;systemctl restart docker

此时还没有启动etcd服务


[root@localhost ~]#systemctl enable etcd --now

4）安装calico网络通信环境 sysinit 方式 三个节点类似，只是替换calico.env种的CALICO_NODENAME和CALICO_IP即可CALICO_IP就是本地ip，CALICO_NODENAME就是节点名我用ip代替了

[root@localhost ~]# cat /etc/systemd/system/calico-node.service 
[Unit]
Description=calico-node
After=docker.service
Requires=docker.service
 
[Service]
EnvironmentFile=/etc/calico/calico.env
ExecStartPre=-/usr/bin/docker rm -f calico-node
ExecStart=/usr/bin/docker run --net=host --privileged \
 --name=calico-node \
 -e NODENAME=${CALICO_NODENAME} \
 -e IP=${CALICO_IP} \
 -e IP6=${CALICO_IP6} \
 -e CALICO_NETWORKING_BACKEND=${CALICO_NETWORKING_BACKEND} \
 -e AS=${CALICO_AS} \
 -e NO_DEFAULT_POOLS=${CALICO_NO_DEFAULT_POOLS} \
 -e CALICO_LIBNETWORK_ENABLED=${CALICO_LIBNETWORK_ENABLED} \
 -e ETCD_ENDPOINTS=${ETCD_ENDPOINTS} \
 -e ETCD_CA_CERT_FILE=${ETCD_CA_CERT_FILE} \
 -e ETCD_CERT_FILE=${ETCD_CERT_FILE} \
 -e ETCD_KEY_FILE=${ETCD_KEY_FILE} \
 -v /var/run/docker.sock:/var/run/docker.sock \
 -v /var/log/calico:/var/log/calico \
 -v /run/docker/plugins:/run/docker/plugins \
 -v /lib/modules:/lib/modules \
 -v /var/run/calico:/var/run/calico \
 calico/node:v2.6.1
 
ExecStop=-/usr/bin/docker stop calico-node
 
Restart=on-failure
StartLimitBurst=3
StartLimitInterval=60s
 
[Install]
WantedBy=multi-user.target
[root@localhost ~]#

calico.env环境变量 

[root@localhost ~]# cat /etc/calico/calico.env
ETCD_ENDPOINTS="http://10.10.1.216:2379"
ETCD_CA_FILE=""
ETCD_CERT_FILE=""
ETCD_KEY_FILE=""
CALICO_NODENAME="10.10.1.216"
CALICO_NO_DEFAULT_POOLS=""
CALICO_IP="10.10.1.216"
CALICO_IP6=""
CALICO_AS=""
CALICO_LIBNETWORK_ENABLED=true
CALICO_NETWORKING_BACKEND=bird

启动

[root@localhost ~]# systemctl daemon-reload;systemctl start calico-node
[root@localhost ~]# tail -f /var/log/messages

客户端使用

[root@localhost ~]# wget -O /usr/local/bin/calicoctl https://github.com/projectcalico/calicoctl/releases/download/v1.6.1/calicoctl
[root@localhost ~]# chmod +x /usr/local/bin/calicoctl

检查calico-node是否正常，注意此时是在有etcd的节点上面操作的
[root@localhost ~]# calicoctl node status
Calico process is running.

IPv4 BGP status
+--------------+-------------------+-------+----------+-------------+
| PEER ADDRESS |     PEER TYPE     | STATE |  SINCE   |    INFO     |
+--------------+-------------------+-------+----------+-------------+
| 10.10.1.167  | node-to-node mesh | up    | 07:38:56 | Established |
| 10.10.1.219  | node-to-node mesh | up    | 07:38:54 | Established |
+--------------+-------------------+-------+----------+-------------+

IPv6 BGP status
No IPv6 peers found.

[root@localhost ~]#
[root@localhost ~]# calicoctl get node 其他节点会失败 127.0.0.1:2379 etcd 需要配置calicoctl.cfg
NAME          
10.10.1.167   
10.10.1.216   
10.10.1.219

在管理 Calico 服务的过程中，少不了使用客户端管理工具 calicoctl；所以这里介绍一些工具的安装和配置过程。

一、calicoctl 工具下载安装

calicoctl 工具可以通过命令行读取、创建、更新和删除 Calico 的存储对象。
Calico 对象可以存储在 Etcd 服务或者 Kubernetes 服务中；在安装 Calico 的时候，需要选择其数据存储的位置。
在使用 calicoctl 管理工具时，你也可以选择工具部署的位置。

  1. 直接部署在物理主机上。
  2. 部署在容器化服务中。
  3. 部署在Kubernetes 容器编排工具的Pod中。

1.1、直接部署在物理主机

#Use the following command to download the calicoctl binary.
curl -O -L  https://github.com/projectcalico/calicoctl/releases/download/v3.16.1/calicoctl
#Set the file to be executable.
chmod +x calicoctl

安装完成后，然后我们还需要为其编写配置文件请看上面。

1.2、部署在Kubernetes 上

官方提供了 calicoctl 的容器和 Kubernetes yaml 文件，我们可以直接使用：

#数据存储在 etcd 服务中
kubectl apply -f https://docs.projectcalico.org/manifests/calicoctl-etcd.yaml
#数据存储在 Kubernetes API datastore 服务中
kubectl apply -f https://docs.projectcalico.org/manifests/calicoctl.yaml

二、calicoctl 配置文件

calicoctl 在使用过程中，需要从配置文件中读取 Calico 对象存储地址等信息。

  1. calicoctl 的配置文件默认存储位置 /etc/calico/calicoctl.cfg。
  2. 可以通过 –config 选项，覆盖配置文件的读取位置。
  3. 配置文件的内容可以是 Json 类型也可以是 Yaml 类型。
  4. 如果 calicoctl 找不到配置文件的话，会读取环境变量。

2.1、calicoctl 连接etcd 服务

calicoctl 客户端连接 Etcd 服务进行管理，配置文件示例：10.10.1.219和10.10.1.167节点

[root@localhost ~]# cat /etc/calico/calicoctl.cfg 
apiVersion: v1
kind: calicoApiConfig
metadata:
spec:
  etcdEndpoints: http://10.10.1.216:2379
#  etcdEndpoints: https://10.10.1.216:2379
#  etcdKeyFile: /etc/calico/client-key.pem
#  etcdCertFile: /etc/calico/client-cert.pem
#  etcdCACertFile: /etc/calico/ca.pem

2.1、calicoctl 连接 Kubernetes 服务，calicoctl通过读写calico的数据存储系统（datastore）进行查看或者其他各类管理操作，通常，它需要提供认证信息经由相应的数据存储完成认证。在使用Kubernetes API数据存储时，需要使用类似kubectl的认证信息完成认证。它可以通过环境变量声明的DATASTORE_TYPE和KUBECONFIG接入集群，例如以下命令格式运行calicoctl：

DATASTORE_TYPE=kubernetes KUBECONFIG=~/.kube/config calicoctl get nodes

也可以直接将认证信息等保存于配置文件中，calicoctl默认加载 /etc/calico/calicoctl.cfg 配置文件读取配置信息，如下所示，calicoctl 客户端连接 Kubernetes 服务进行管理，配置文件示例：

apiVersion: v1
kind: CalicoAPIConfig
metadata:
spec:
  datastoreType: "kubernetes"
  kubeconfig: "/path/to/.kube/config"

三、配置文件验证

这里有一个简单的命令用于验证 calicoctl 的安装和配置是否正确。
#calicoctl get nodes
如果一切正常，则会返回已经注册的主机节点列表。
如果返回为空，则可能配置了错误的数据存储地址datastore或者 Calico 服务还没有主机注册。
如果返回错误信息，则请修复后重试。

参考

https://www.jianshu.com/p/b21b02c71685

https://www.cnblogs.com/ding2016/p/10785892.html

完全二进制安装

https://www.jianshu.com/p/9bddc2eb69a3

Michaelwubo
关注
  • 2
    点赞
  • 踩
  • 7
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
K8s（六）：网络插件之Calico安装与详解
✨ 欢迎来到【Seal ^_^ 的CSDN博客】！这里是我记录技术心得、分享经验的地方。✨
04-02 2万+
🔴 K8s（六）：网络插件之Calico安装与详解
Serverless平台二进制安装部署, 集成OpenFunction和WasmEdge
05-23
这是一份肝了很长时间的Serverless平台搭建教程, 节省安装时间及上手难度, 避开非运维开发者搭建开发环境的种种问题, 文档详细, 图文并茂, 从0到1; 网络组件使用Calico + IPVS, 容器运行时采用CRI-O, 兼容wasmedge需要的crun, 配备 k8s dashboard 和 tekton dashboard, 服务暴露同时支持 NodePort + LoadBalancer + Ingress, 后续会陆续推出开发时具体工具链以及实操文档, 感谢支持! 文档采用markdown格式, 配备图片.
二进制方式部署k8s集群相关配置文件及依赖包
03-03
网络组件yaml文件：calico.yaml cfss生成证书安装包 etcd二次开发包：etcd-v3.4.9-linux-amd64.tar.gz k8s二进制安装包：kubernetes-server-v1.20.5-linux-amd64.tar.gz
calicoctl:Calico CLI 工具
08-03
花椰菜 这个存储库是calicoctl的家。 请注意，此 repo 中的文档针对 Calico 贡献者。 Calico 用户的文档在这里： 有关calicoctl用法的信息，请参阅 安装 calicoctl二进制下载可以在上找到。 解压calicoctl二进制文件并将其添加到您的 PATH 中，您就可以开始使用了！ 如果要使用包管理器： 用户可以使用brew install calicoctl 。 发展 使用make help打印有用的操作。 构建calicoctl 为简单起见， calicoctl可以构建在 Docker 容器中，使用以下命令消除对主机开发人员环境中的任何依赖项的需要： make build 二进制文件将放在./dist/并命名为calicoctl-<os>-<arch> ，例如： $ ls -1 ./dist/ calicoctl-linux-am
k8s二进制文件以及docker二进制文件
03-09
一、安装准备： 1.环境 主机名 IP k8s-master 192.168.250.111 k8s-node01 192.168.250.112 k8s-node02 192.168.250.116 2.设置主机名 hostnamectl --static set-hostname k8s-master hostnamectl --static set-hostname k8s-node01 hostnamectl --static set-hostname k8s-node02 3.关闭防火墙和selinux systemctl disable firewalld systemctl stop firewalld sed -i 's/SELINUX=enforcing/SELINUX=disabled/g' /etc/selinux/config 执行完成后重启虚拟机。 4.在master机器上安装ansible 执行命令：sudo yum install ansible (离线处理补充) 5.配置 ansible ssh密钥登录，此操作需要在所有机器上执行 ssh-keygen -t rsa -b 2048 回车 回车 回车 ssh-copy-id $IP #$IP为所有虚拟机，按照提示输入yes 和root密码 （密钥补充） 二、安装kubernetes集群 进入ansible安装路径 : cd /etc/ansible 将路径下的roles文件夹和hosts文件删除。 解压压缩文件kubeasz.zip文件，将解压后的内容放入当前目录下(/etc/ansible) 根据搭建集群环境要求，进入/etc/ansible/example 目录下选取 hosts.allinone.example 单节点AllInOne hosts.m-masters.example 单主多节点 hosts.s-master.example 多主多节点 红色标记的是需要自行修改的地方 修改完成后将文件名改为hosts 放入/etc/ansible/目录下。 安装prepare ansible-playbook 01.prepare.yml 安装etcd ansible-playbook 02.etcd.yml 安装kubectl命令 ansible-playbook 03.kubectl.yml 安装docker ansible-playbook 04.docker.yml 如果执行时出现报错： 可忽略。 解决方法： 在master节点上执行：curl -s -S "https://registry.hub.docker.com/v2/repositories/$@/tags/" | jq '."results"[]["name"]' |sort 所有机器上执行： wget http://dl.fedoraproject.org/pub/epel/epel-release-latest-7.noarch.rpm rpm -ivh epel-release-latest-7.noarch.rpm yum install jq -y 在重新执行： ansible-playbook 04.docker.yml 安装calico ansible-playbook 05.calico.yml 部署master节点 ansible-playbook 06.kube-master.yml 加入node节点 ansible-playbook 07.kube-node.yml 如果执行成功，k8s集群就安装好了。 三、验证安装 如果提示kubectl: command not found，退出重新ssh登陆一下，环境变量生效即可 kubectl version #查看kubernetes版本 kubectl get componentstatus # 可以看到scheduler/controller-manager/etcd等组件 Healthy kubectl cluster-info # 可以看到kubernetes master(apiserver)组件 running kubectl get node # 可以看到单 node Ready状态 kubectl get pod --all-namespaces # 可以查看所有集群pod状态 kubectl get svc --all-namespaces # 可以查看所有集群服务状态 calicoctl node status # 可以在master或者node节点上查看calico网络状态 四、安装主要组件 安装kubedns kubectl create -f manifests/kubedns 安装heapster kubectl create -f manifests/heapster 安装dashboard kubectl create -f manifests/dashboard 访问dashboard 先执行命令查看dashboard的NodePort 端口 kubectl get svc -n kube-system 访问web页面 https://masterIP: 7443 选择令牌按钮 ，用命令查询登录令牌 之前安装过 heapster 执行命令：kubectl get secret -n kube-system 查询 heapster-token-twpw4 的详细内容 执行命令：kubectl describe secret heapster-token-twpw4 -n kube-system Token就是登录令牌，复制登录就好了 安装ingress kubectl create -f manifests/ingress/ 安装EFK(elasticsearch+ fluentd + kibana) 首先进入 manifests/EFK 文件夹下 （cd /etc/ansible/manifests/EFK） 查看并修改 ceph-sercet.yaml 文件。 此key值是 ceph存储用户的token值 ，将此key值转换为base64 将文件中红色选选中部分修改为转换后的值。 修改完成后 部署 pv 和 pvc 执行命令：kubectl create -f es-pv-data.yaml kubectl create -f es-pvc-data.yaml 部署fluentd 执行命令：kubectl create -f fluentd-rbac.yml -f fluentd-configmap.yml -f fluentd-daemonset.yml 部署elasticsearch 先设置node节点中role ，指定master client data 部署位置 执行命令：kubectl get nodes kubectl label node 10.2.0.244 role=master (10.2.0.244 是我本机kubernetes 的master节点 ，所以我也将此master也部署在这里) 其余的两个节点分别是data 和 client 执行命令：kubectl create -f es-discovery-svc.yaml -f es-svc.yaml -f es-master.yaml -f es-client.yaml -f es-data.yaml 其中部署elasticsearch集群需要注意一些事项 ： Master节点一般只有一个 并且提供9300 端口 客户端通讯使用 Client 节点一般提供9200端口 用于连接kibana 和 fluentd http访问使用 Data 节点是提供数据存储，持久化对data节点进行就可以。 其中 master ， client ， data 部署文件中 配置的 CLUSTER_NAME 指的是 elasticsearch集群名称 Java运行自行设置，最大值和最小值需要一致。 最小为-Xms256m 部署kibana 执行命令：kubectl create -f kibana-svc.yaml -f kibana.yaml 这里需要注意 kibana.yaml 文件中 参数的设置 这里的CLUSTER_NAME 也是elasticsearch部署文件中设置的集群名称。 #安装 flannel 执行命令: cd /etc/ansible/roles/flannel 先修改kube-flannel.yml文件 --iface 对应的是本机的网卡名称 command: [ "/opt/bin/flanneld", "--ip-masq", "--kube-subnet-mgr", "--iface=eth1" ] 修改完成后 执行： kubectl create -f kube-flannel-rbac.yml kubectl apply -f kube-flannel.yml
calico-v3.15.3镜像包和安装文件
01-27
calico-v3.15.3镜像包和安装文件
kubernetes 1.20.15版本二进制安装
06-16
kubernetes 1.20.15版本二进制安装，包含calico镜像，无需再次下载
Calico简介
chengfangdong的博客
07-03 3519
calico
calico网络原理、组网方式和使用
Yonx
09-16 1万+
calico网络
Calico
u011619480的专栏
01-09 2475
calico
kubernetes运维---calico之ipip模式抓包分析
qq_34391821的博客
05-07 1697
一、calico介绍 Calico是Kubernetes生态系统中另一种流行的网络选择。虽然Flannel被公认为是最简单的选择，但Calico以其性能、灵活性而闻名。Calico的功能更为全面，不仅提供主机和pod之间的网络连接，还涉及网络安全和管理。Calico CNI插件在CNI框架内封装了Calico的功能。 Calico是一个基于BGP的纯三层的网络方案，与OpenStack、Kubernetes、AWS、GCE等云平台都能够良好地集成。Calico在每个计算节点都利用Linux Kernel
calico-v3.21.4镜像包和安装文件
01-27
calico-v3.21.4镜像包和安装文件
使用使用sealos安装k8s时的工具（calico）
11-05
使用sealos安装k8s时的工具（calico），在文章《快速搭建云原生开发环境（k8s+pv+prometheus+grafana）》中会用到
calico v3.22.1镜像包和安装文件
03-07
calico v3.22.1镜像包和安装文件
二进制安装 k8s 资源文件.zip
02-14
https://blog.csdn.net/weixin_46560589/article/details/128934378 文章《手把手教你二进制安装生产环境 K8s 多 master 节点高可用集群详细图文教程》中所需的资源文件！！！
详解 Calico 三种模式（与 Fannel 网络对比学习）
叮当猫的喵i
08-04 1万+
之后「源 VTEP 设备」 —— 会将此「 Vxlan 数据包」进行「UDP封装」,其中「 Vxlan 数据包」会视为「UDP数据包的基础数据信息」通过「目的 Pod IP」—— 得知「目的 VTEP 设备的 MAC 地址」 —— 「源 VTEP 设备」根据得到的信息构建 Vxlan 数据包。”二层“通信 —— 指的是，需要维护「MAC 地址级别的信息」，即「虚拟IP」与「MAC 地址」的映射关系。之后此封装好的「UDP数据包」，将会通过三层网络，到达目的容器所在的主机的「目的VTEP设备」......
kubernetes网络之---Calico原理解读
热门推荐
ccy19910925的博客
09-05 3万+
  Calico简单简介 Calico是一个纯三层的协议，为OpenStack虚机和Docker容器提供多主机间通信。Calico不使用重叠网络比如flannel和libnetwork重叠网络驱动， 它是一个纯三层的方法，使用虚拟路由代替虚拟交换，每一台虚拟路由通过BGP协议传播可达信息（路由）到剩余数据中心。   Calico 架构 Calico 是一个三层的数据中心网络方案，而且...
Kubernetes CNI Calico：二进制安装 calicoctl工具
最新发布
weixin_48711696的博客
02-05 436
calicoctl 允许从命令创建，读取，更新和删除 Calico 对象。二进制方式安装 calicoctl 工具。
kubernetes-v1.20.4 二进制部署-Calico网络组件、Dashboard和CoreDNS
人走茶良的博客
05-11 1855
一、安装部署Calico 　　1、创建工作目录 mkdir -p /opt/cni/bin tar zxvf cni-plugins-linux-amd64-v0.8.6.tgz -C /opt/cni/bin cd /opt/cni/bin scp ./* [email protected]:/opt/cni/bin/ 　　2、docker导入calico镜像 tar -zxvf image.tar.gz docker load < calico-cni.tar docker lo
给我写一个二进制方式安装kubernetes群集脚本
04-23
好的，以下是一个二进制方式安装Kubernetes群集的脚本: ``` #!/bin/bash # 安装必需软件 sudo apt update sudo apt install -y apt-transport-https gnupg2 curl # 添加Kubernetes仓库 curl -s https://packages.cloud.google.com/apt/doc/apt-key.gpg | sudo apt-key add - echo "deb https://apt.kubernetes.io/ kubernetes-xenial main" | sudo tee /etc/apt/sources.list.d/kubernetes.list sudo apt update # 安装Kubernetes组件 sudo apt install -y kubelet kubeadm kubectl # 初始化master节点 sudo kubeadm init --pod-network-cidr=10.244.0.0/16 # 设置Kubectl环境变量 mkdir -p $HOME/.kube sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config sudo chown $(id -u):$(id -g) $HOME/.kube/config # 安装网络插件 kubectl apply -f https://docs.projectcalico.org/v3.18/manifests/calico.yaml # 加入worker节点 kubeadm token create --print-join-command > join-worker.sh chmod +x join-worker.sh ``` 希望这个脚本可以帮助到您安装Kubernetes群集。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值