Flannel配置详解

最新推荐文章于 2024-09-13 21:50:24 发布
最新推荐文章于 2024-09-13 21:50:24 发布
阅读量293 收藏 1
点赞数
文章标签： 运维 开发工具 网络
原文链接：http://www.cnblogs.com/zhengchunyuan/p/10072027.html
版权

1、简介

Flannel是一种基于overlay网络的跨主机容器网络解决方案，也就是将TCP数据包封装在另一种网络包里面进行路由转发和通信，

Flannel是CoreOS开发,专门用于docker多机互联的一个工具,让集群中的不同节点主机创建的容器都具有全集群唯一的虚拟ip地址

Flannel使用go语言编写

2、Flannel实现原理

2.1、原理说明

Flannel为每个host分配一个subnet，容器从这个subnet中分配IP，这些IP可以在host间路由，容器间无需使用nat和端口映射即可实现跨主机通信

每个subnet都是从一个更大的IP池中划分的，flannel会在每个主机上运行一个叫flanneld的agent，其职责就是从池子中分配subnet

Flannel使用etcd存放网络配置、已分配 的subnet、host的IP等信息

Flannel数据包在主机间转发是由backend实现的，目前已经支持UDP、VxLAN、host-gw、AWS VPC和GCE路由等多种backend

2.2、数据转发流程

flannel

  1. 容器直接使用目标容器的ip访问，默认通过容器内部的eth0发送出去。

  2. 报文通过veth pair被发送到vethXXX。

  3. vethXXX是直接连接到虚拟交换机docker0的，报文通过虚拟bridge docker0发送出去。

  4. 查找路由表，外部容器ip的报文都会转发到flannel0虚拟网卡，这是一个P2P的虚拟网卡，然后报文就被转发到监听在另一端的flanneld。

  5. flanneld通过etcd维护了各个节点之间的路由表，把原来的报文UDP封装一层，通过配置的iface发送出去。

  6. 报文通过主机之间的网络找到目标主机。

  7. 报文继续往上，到传输层，交给监听在8285端口的flanneld程序处理。

  8. 数据被解包，然后发送给flannel0虚拟网卡。

  9. 查找路由表，发现对应容器的报文要交给docker0。

  10. docker0找到连到自己的容器，把报文发送过去。

3、Flannel安装配置

3.1、环境准备

|节点名称|IP地址|安装软件 |docker1| 192.168.198.133| etcd、flannel、docker |docker2| 192.168.198.130| flannel、docker

3.2、安装etcd

etcd下载地址：https://github.com/coreos/etcd/releases

启动命令：

etcd -name etcd1 -data-dir /var/lib/etcd --advertise-client-urls http://192.168.198.133:2379,http://127.0.0.1:2379 --listen-client-urls http://192.168.198.133:2379,http://127.0.0.1:2379 &

3.3、安装Flannel

flannel下载地址：https://github.com/coreos/flannel/releases

添加flannel网络配置信息到etcd：

etcdctl --endpoints http://127.0.0.1:2379 set /coreos.com/network/config '{"Network": "10.0.0.0/16", "SubnetLen": 24, "SubnetMin": "10.0.1.0","SubnetMax": "10.0.20.0", "Backend": {"Type": "vxlan"}}'
  • Network：用于指定Flannel地址池
  • SubnetLen：用于指定分配给单个宿主机的docker0的ip段的子网掩码的长度
  • SubnetMin：用于指定最小能够分配的ip段
  • SudbnetMax：用于指定最大能够分配的ip段，在上面的示例中，表示每个宿主机可以分配一个24位掩码长度的子网，可以分配的子网从10.0.1.0/24到10.0.20.0/24，也就意味着在这个网段中，最多只能有20台宿主机
  • Backend：用于指定数据包以什么方式转发，默认为udp模式，host-gw模式性能最好，但不能跨宿主机网络

3.4、启动Flannel

# cat /etc/systemd/system/flanneld.service

[Unit]
Description=Flanneld
Documentation=https://github.com/coreos/flannel
After=network.target Before=docker.service  [Service] User=root ExecStartPost=/usr/local/bin/mk-docker-opts.sh ExecStart=/usr/local/bin/flanneld \ --etcd-endpoints="http://192.168.198.133:2379" \ --iface=192.168.198.133 \ --ip-masq=true \ --etcd-prefix=/coreos.com/network Restart=on-failure Type=notify LimitNOFILE=65536  [Install] WantedBy=multi-user.target # systemctl daemon-reload # systemctl start flanneld

Flannel启动过程解析：

  • 从etcd中获取network的配置信息
  • 划分subnet，并在etcd中进行注册
  • 将子网信息记录到/run/flannel/subnet.env中

Flannel必须先于Docker启动

3.5、验证Flannel网络

查看etcd中的数据：

# etcdctl ls /coreos.com/network/subnets
/coreos.com/network/subnets/10.0.18.0-24

查看docker1的flannel网卡信息：

38: flannel.1: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1450 qdisc noqueue state UNKNOWN group default 
    link/ether 1a:8e:8b:09:d6:d4 brd ff:ff:ff:ff:ff:ff inet 10.0.18.0/32 scope global flannel.1 valid_lft forever preferred_lft forever inet6 fe80::188e:8bff:fe09:d6d4/64 scope link valid_lft forever preferred_lft forever

可以看到flannel0网卡的地址和etcd存储的地址一样，这样flannel网络配置完成

3.6、配置Docker

Docker安装完成以后，需要修改其启动参数以使其能够使用flannel进行IP分配，以及网络通讯

在Flannel运行之后，会生成一个环境变量文件，包含了当前主机要使用flannel通讯的相关参数，如下：

# cat /run/flannel/subnet.env 

FLANNEL_NETWORK=10.0.0.0/16 FLANNEL_SUBNET=10.0.18.1/24 FLANNEL_MTU=1450 FLANNEL_IPMASQ=true

可以使用flannel提供的脚本将subnet.env转写成Docker启动参数，创建好的启动参数默认生成在/run/docker_opts.env文件中：

# /opt/flannel/mk-docker-opts.sh -c

# cat /run/docker_opts.env
DOCKER_OPTS=" --bip=10.0.18.1/24 --ip-masq=false --mtu=1450"

修改docker的服务启动文件如下：

# vim /lib/systemd/system/docker.service

EnvironmentFile=/run/docker_opts.env
ExecStart=/usr/bin/dockerd $DOCKER_OPTS -H fd://

重启docker：

systemctl daemon-reload
systemctl restart docker

这时可以看到docker0的ip已经位于flannel网卡的网段之中：

3: docker0: <NO-CARRIER,BROADCAST,MULTICAST,UP> mtu 1500 qdisc noqueue state DOWN group default 
    link/ether 02:42:de:a3:d8:7d brd ff:ff:ff:ff:ff:ff inet 10.0.18.1/24 brd 10.0.18.255 scope global docker0 valid_lft forever preferred_lft forever inet6 fe80::42:deff:fea3:d87d/64 scope link valid_lft forever preferred_lft forever 38: flannel.1: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1450 qdisc noqueue state UNKNOWN group default link/ether 1a:8e:8b:09:d6:d4 brd ff:ff:ff:ff:ff:ff inet 10.0.18.0/32 scope global flannel.1 valid_lft forever preferred_lft forever inet6 fe80::188e:8bff:fe09:d6d4/64 scope link valid_lft forever preferred_lft forever

3.7、验证容器互通

root@ubuntu:~# docker run -it busybox
/ # ip a
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue qlen 1000 link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00 inet 127.0.0.1/8 scope host lo valid_lft forever preferred_lft forever 39: eth0@if40: <BROADCAST,MULTICAST,UP,LOWER_UP,M-DOWN> mtu 1450 qdisc noqueue link/ether 02:42:0a:00:12:02 brd ff:ff:ff:ff:ff:ff inet 10.0.18.2/24 brd 10.0.18.255 scope global eth0 valid_lft forever preferred_lft forever / # ping 10.0.12.2 PING 10.0.12.2 (10.0.12.2): 56 data bytes 64 bytes from 10.0.12.2: seq=0 ttl=62 time=0.803 ms 
root@ubuntuserver:~/flannel# docker exec -it b4d /bin/bash
root@b4d65fdc02a3:/usr/local/apache2# ip a
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1000 link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00 inet 127.0.0.1/8 scope host lo valid_lft forever preferred_lft forever 5: eth0@if6: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1450 qdisc noqueue state UP group default link/ether 02:42:0a:00:0c:02 brd ff:ff:ff:ff:ff:ff inet 10.0.12.2/24 brd 10.0.12.255 scope global eth0 valid_lft forever preferred_lft forever root@b4d65fdc02a3:/usr/local/apache2# root@b4d65fdc02a3:/usr/local/apache2# root@b4d65fdc02a3:/usr/local/apache2# ping 10.0.18.2 PING 10.0.18.2 (10.0.18.2) 56(84) bytes of data. 64 bytes from 10.0.18.2: icmp_seq=1 ttl=62 time=0.794 ms 64 bytes from 10.0.18.2: icmp_seq=2 ttl=62 time=0.957 ms

此时的网络数据包流向如图：

flannel2

3.8、配置backend为host-gw

host-gw bakcend是flannel的另一个backend。与vxlan不同，host-gw不会封装数据包，而是在主机的路由表中创建到其他主机的subnet的路由条目，从而实现容器网络跨主机通信。需要说明的是，host-gw不能跨宿主机网络通信，或者说跨宿主机网络通信需要物理路由支持。

修改etcd如下：

etcdctl --endpoints http://127.0.0.1:2379 set /coreos.com/network/config '{"Network": "10.0.0.0/16", "SubnetLen": 24, "SubnetMin": "10.0.1.0","SubnetMax": "10.0.20.0", "Backend": {"Type": "host-gw"}}'

重启flanneld与docker：

systemctl restart flanneld docker

可以在宿主机上查看到路由条目：

root@ubuntu:~# ip route
default via 192.168.198.2 dev ens33 proto dhcp metric 100 
10.0.12.0/24 via 192.168.198.130 dev ens33 10.0.18.0/24 dev docker0 proto kernel scope link src 10.0.18.1 linkdown 169.254.0.0/16 dev ens33 scope link metric 1000 192.168.198.0/24 dev ens33 proto kernel scope link src 192.168.198.133 metric 100

转载于:https://www.cnblogs.com/zhengchunyuan/p/10072027.html

weixin_30319153
关注
Kubernetes容器网络及Flannel插件详解
weixin_49925141的博客
06-02 907
容器网络是Kubernetes最复杂部分，同时也是设计精华所在，通过CNI标准开放，根据实际需求实现不同的CNI来满足差异化的需求，尤其是与底层基础云能力深度集成的场景，每个云厂商都有实现各自高效的网络插件。
Kubernetes 集群部署（二）（flannel 网络配置）
Xucf1
04-12 850
文章目录Kubernetes 集群部署（二）（flannel 网络配置）前置知识点1.node 节点安装 docker2.flannel 网络配置①写入分配的子网段到 etcd 中以供flannel使用（规划网段）②node 节点上传 flannel 软件包并解压缩③建立 K8S 工作目录并撰写 flannel.sh 服务启动脚本④指定集群启动脚本并检查IP地址⑤配置 docker 以能连接上 flannel⑥在两个 node 节点中创建容器互相 ping 以验证网络互通 本文承接： Kubernetes
flannel网络配置
04-17
k8s管理使用flannel网络管理，docker集群的网络管理工具
Flannel - 配置
weixin_30475039的博客
05-23 368
原文地址 flannel 从 ETCD 中读取配置。 默认情况下，flannel 从 /coreos.com/network/config 中读取配置，可以使用 --etcd-prefix 覆盖。 通过 etcdctl 工具设置 ETCD 中的值。 配置值是一个带有以下键的 JSON 字典： Network （字符串）：CIDR 格式的 ...
网络配置flannel
河静
08-10 391
网络配置flannel a机器创建的容器和b机器创建的容器互通？？？ 使用flannel目的是什么？？？ 1.flannel是什么 flannel实质是一种“覆盖网络（overlay network）”，也就是将TCP数据包装在另一种网络包里面进行路由转发和通信，目前已支持UDP、VxLAN、AWS VPC和GCE路由等数据转发方式 2.使用flannel目的 不同主机的容器实现互联互通 3.flannel安装配置 所有机器均安装 修改配置文件/etc/sysconfig/flannel FLA
docker容器技术篇：安装与配置flannel
qq_39241682的博客
04-19 1432
Docker安装与配置flannelflannel是什么？Flannel是CoreOS团队针对Kubernetes设计的一个网络规划服务，简单来说，它的功能是让集群中的不同节点主机创建的Docker容器都具有全集群唯一的虚拟IP地址；通俗的将就是通过flannel接管docker集群的网络，保障docker集群中容器的网络不会冲突。但在默认的Docker配置中，每个节点上的Docker服务会分别负责所在节点容器的IP分配。这样导致的一个问题是，不同节点上容器可能分配相同的内外IP地址。
Flannel与Calico网络插件配置详解
8. 配置Flannel和Calico的重要性：正确配置网络插件的yaml文件是确保网络稳定运行和策略正确实施的关键步骤。 9. Flannel与Calico在Kubernetes中的应用：两者都用于增强容器网络功能，提供跨节点容器通信及网络策略...
ubuntu18.04安装flannel
qq_43483975的博客
04-28 3073
Flannel配置详解 简介 Flannel是一种基于overlay网络的跨主机容器网络解决方案，也就是将TCP数据包封装在另一种网络包里面进行路由转发和通信，Flannel是CoreOS开发,专门用于docker多机互联的一个工具,让集群中的不同节点主机创建的容器都具有全集群唯一的虚拟ip地址Flannel使用go语言编写 Flannel实现原理 Flannel为每个host分配一个su...
kube-flannel.yml
01-15
《kube-flannel.yml详解——构建Kubernetes网络基石》 在Kubernetes（K8s）集群中，网络通信是核心组成部分，而kube-flannel.yml则扮演着至关重要的角色。它是Kubernetes网络插件Flannel的配置文件，用于实现跨节点...
Docker网络解决方案-Flannel部署记录（个人珍藏版）
08-30
本篇文章详细记录了Docker网络解决方案-Flannel部署过程，可作为线上实操手册。在此分享，希望能帮助到有用到的朋友。
微服务自动化.03.跨主机集群
m0_60402568的博客
03-03 852
一、容器间内部通信 bridge模式 host模式 自定义网络 Container模式 None模式 二、跨主机通信 Docker默认的网络环境下,单台主机上的Docker容器可以通过docker0网桥直接通信,而不同主机上的Docker容器之间只能通过在主机上做端口映射进行通信。 这种端口映射方式对很多集群应用来说极不方便。 如果能让Docker容器之间直接使用自己的IP地址进行通信,会解决很多问题。 按实现原理可分别直接路由方式、桥接方式(如pipew.
18.flannel的配置
weixin_30417487的博客
03-23 235
Kubernetes网络通信： (1) 容器间通信：同一个Pod内的多个容器间的通信, lo (2) Pod通信：Pod IP <--> Pod IP (3) Pod与Service通信：PodIP <--> ClusterIP (4) Service与集群外部客户端的通信； CNI: flann...
flannel详细介绍
ApexPredator的博客
05-22 1174
flannel详细介绍
Flannel 安装和配置指南
最新发布
gitblog_09697的博客
09-13 470
Flannel 安装和配置指南 flannel 项目地址: https://gitcode.com/gh_mirrors/fla/flannel 1. 项目基础介绍和主要的...
kubernetes-flannel 网络组件CNI配置过程
热门推荐
kozazyh的专栏
03-14 1万+
测试环境： k8s v1.10.5 CNI Plugin : 0.6.0 flannel: 0.11.0 flannel cni 配置过程： Container Network Interface (CNI) 最早是由CoreOS发起的容器网络规范，是Kubernetes网络插件的基础。其基本思想为：Container Runtime在创建容器时，先创建好network namespace...
单节点部署k8s(3）：flannel网络配置
向上的信念
05-06 891
转接上文：单节点部署k8s(2)：配置etcd集群 一、两台node节点部署docker引擎 1、安装docker yum install -y yum-utils device-mapper-persistent-data lvm2 yum-config-manager --add-repo https://mirrors.aliyun.com/docker-ce/linux/cent...
容器编排——安装flannel与配置
LSY_CSDN_的博客
09-16 1804
目录 1、离线安装： （1）软件下载： （2）软件上传： （3）软件解压： （4）创建目录： （5）安装flannel： （6）修改flannel配置文件: （7）创建flannel服务脚本： （8）授权flannel服务脚本： （9）重新加载系统服务脚本： 2、在线安装： （1）安装flannel： （2）修改flannel配置文件： 3、修改etcd中环境变量： 4、操作flannel服务： （1）启动服务： （2）停止服务： （3）查看服务状态： （4）服务开机自
012.Kubernetes二进制部署worker节点Flannel
爱无止
11-18 318
一 部署flannel搜小说 shupu.org 1.1 安装flannel kubernetes 要求集群内各节点(包括 master 节点)能通过 Pod 网段互联互通。flannel 使用 vxlan 技术为各节点创建一个可以互通的 Pod 网络，使用的端口为 UDP 8472。 flanneld 第一次启动时，从 etcd 获取配置的 Pod 网段信息，为本节点分配一个未使用的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值