calico网络原理、组网方式和使用

目录

• 目录
• calico
• 名词解释
• 组网原理
• BGP与AS
  • BGP Speaker 全互联模式(node-to-node mesh)
  • BGP Speaker RR模式
• calico网络的部署
  • calico在Ethernet interconnect fabric中的部署方式
  • calico在ip fabric中的部署方式
    • AS per rack
    • AS per server
  • 优化：“Downward Default model”减少需要记录的路由
• calico系统结构
• calico中的概念
  • bgpPeer
  • ipPool
  • node
  • policy
  • profile
  • workloadEndpoint
  • hostEndpoint
• node的报文处理过程
  • 路由决策之前：流入node的报文的处理
    • 进入raw表
    • 进入nat表
  • 路由决策之后：发送到本node的host endpoint 和 workload endpoint
    • 进入filter表
      • 来自其它node的报文
      • 来自本node上workload endpoint的报文
  • 路由决策之后：需要转发的报文
  • node发送本地发出的报文
• calico系统的部署
  • CentOS上安装
    • 安装calicoctl
    • 安装felix
      • 二进制安装
      • 容器的方式
• calico的使用
  • node管理
  • 运行时设置
  • 创建/查看/更新/删除资源
  • IP地址管理
• 测试环境
  • 查看状态
  • 模拟一个租户网络
    • endpoints
  • policy
  • profile
• 参考

calico

calico是一个比较有趣的虚拟网络解决方案，完全利用路由规则实现动态组网，通过BGP协议通告路由。

calico的好处是endpoints组成的网络是单纯的三层网络，报文的流向完全通过路由规则控制，没有overlay等额外开销。

calico的endpoint可以漂移，并且实现了acl。

calico的缺点是路由的数目与容器数目相同，非常容易超过路由器、三层交换、甚至node的处理能力，从而限制了整个网络的扩张。

calico的每个node上会设置大量（海量)的iptables规则、路由，运维、排障难度大。

calico的原理决定了它不可能支持VPC，容器只能从calico设置的网段中获取ip。

calico目前的实现没有流量控制的功能，会出现少数容器抢占node多数带宽的情况。

calico的网络规模受到BGP网络规模的限制。

名词解释

endpoint:  接入到calico网络中的网卡称为endpoint
AS:        网络自治系统，通过BGP协议与其它AS网络交换路由信息
ibgp:      AS内部的BGP Speaker，与同一个AS内部的ibgp、ebgp交换路由信息。
ebgp:      AS边界的BGP Speaker，与同一个AS内部的ibgp、其它AS的ebgp交换路由信息。

workloadEndpoint:  虚拟机、容器使用的endpoint
hostEndpoints:     物理机(node)的地址

组网原理

calico组网的核心原理就是IP路由，每个容器或者虚拟机会分配一个workload-endpoint(wl)。

从nodeA上的容器A内访问nodeB上的容器B时:

+--------------------+              +--------------------+ 
|   +------------+   |              |   +------------+   | 
|   |            |   |              |   |            |   | 
|   |    ConA    |   |              |   |    ConB    |   | 
|   |            |   |              |   |            |   | 
|   +-----+------+   |              |   +-----+------+   | 
|         |veth      |              |         |veth      | 
|       wl-A         |              |       wl-B         | 
|         |          |              |         |          |
+-------node-A-------+              +-------node-B-------+ 
        |    |                               |    |
        |    | type1.  in the same lan       |    |
        |    +-------------------------------+    |
        |                                         |
        |      type2. in different network        |
        |             +-------------+             |
        |             |             |             |
        +-------------+   Routers   |-------------+
                      |             |
                      +-------------+

从ConA中发送给ConB的报文被nodeA的wl-A接收，根据nodeA上的路由规则，经过各种iptables规则后，转发到nodeB。

如果nodeA和nodeB在同一个二层网段，下一条地址直接就是node-B，经过二层交换机即可到达。
如果nodeA和nodeB在不同的网段，报文被路由到下一跳，经过三层交换或路由器，一步步跳转到node-B。

核心问题是，nodeA怎样得知下一跳的地址？答案是node之间通过BGP协议交换路由信息。

每个node上运行一个软路由软件bird，并且被设置成BGP Speaker，与其它node通过BGP协议交换路由信息。

可以简单理解为，每一个node都会向其它node通知这样的信息:

我是X.X.X.X，某个IP或者网段在我这里，它们的下一跳地址是我。

通过这种方式每个node知晓了每个workload-endpoint的下一跳地址。

BGP与AS

BGP是路由器之间的通信协议，主要用于AS（Autonomous System,自治系统）之间的互联。

AS是一个自治的网络，拥有独立的交换机、路由器等，可以独立运转。

每个AS拥有一个全球统一分配的16位的ID号，64512到65535共1023个AS号码可以用于私有网络。

calico默认使用的AS号是64512，可以修改：

calicoctl config get asNumber         //查看
calicoctl config set asNumber 64512   //设置

AS内部有多个BGP speaker，分为ib