深入解析docker内核网桥

最新推荐文章于 2024-04-30 17:52:05 发布
最新推荐文章于 2024-04-30 17:52:05 发布
阅读量689 收藏 2
点赞数 2
文章标签： docker 容器 运维
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_32783703/article/details/133652250
版权

今天做虚拟桌面，朋友问我，为什么vnc 连接另一个docker 容器一直超时，原因是在docker 启动的时候没有组网，那么接下来我就要解析下docker的内核网络。

我们思考几个问题，带你了解linux 中docker 网络实现的基本原理。

文章分析的基石来源于 Docker 的moby源码：

https://github.com/moby/moby

一、docker 网络组成

docker 默认有主机模式和网桥模式，这里只说网桥模式,我们说一下docker内核的网桥代码

先简单说一下容器，容器底层调用的是linux 的 clone，我们使用clone的时候有一些独特的标志位

CLONE_NEWNES,

CLONE_NEWUTS,

CLONE_NEWIPC,

CLONE_NEWPID，

CLONE_NEWNET 

使用linux内核的这些标志位，我们都可以创建出不同NS的进程，其中我们需要注意的是CLONE_NEWNET 

二、Docker 桥接模式分析

Docker Bridge 实现方式如下：

1）我们实现要考虑不同的两个进程 netns 是不一样的，那么这两个不同的netns之间如何通信？

我们可以使用linux 的 veth 接口 ，申请两个veth 设备假设是veth0 和 veth1。而veth pair 设备确保无论哪一个收到报文都会发送给另一端

2）我们把veth0 附加到 docker daemon 创建的docker0 网桥上。保证宿主机有能力把报文发送到veth0

3) 然后我们把 veth1 添加到容器所属的命名空间下，veth1 在Docker 容器里看来就是eth0。一方面保证网络报文发往veth0，可以被veth1收到，实现宿主机到docker 容器之间连通性。

1）问题反思？

docker 网桥是如何实现的？

docker 又是怎么通过建立linux 设备veth的？

docker 创建这些基础网络组件的过程中，到底是用了linux 内核的哪些特性？

2）docker 网桥是如何实现的？

go 部分

我们翻阅Docker 源码，发现这么一段

位于源码的

 daemon/daemon_unix.go

	// --ip processing
	if cfg.DefaultIP != nil {
		netOption[bridge.DefaultBindingIP] = cfg.DefaultIP.String()
	}

_, err = controller.NewNetwork("bridge", "bridge", "",
		libnetwork.NetworkOptionEnableIPv6(cfg.EnableIPv6),
		libnetwork.NetworkOptionDriverOpts(netOption),
		libnetwork.NetworkOptionIpam("default", "", v4Conf, v6Conf, nil),
		libnetwork.NetworkOptionDeferIPv6Alloc(deferIPv6Alloc))

libnetwork/controller.go 

func (c *Controller) addNetwork(n *Network) error {
	d, err := n.driver(true)
	if err != nil {
		return err
	}

	// Create the network
	if err := d.CreateNetwork(n.id, n.generic, n, n.getIPData(4), n.getIPData(6)); err != nil {
		return err
	}

	n.startResolver()

	return nil
}

最后我们发现网桥的实现最后到了CreateNetwork中，我们在追踪进入CreateNetwork中

libnetwork/drivers/bridge/bridge_linux.go 

CreateNetwork 的实现我们发现具体关键代码位于

	// If the bridge interface doesn't exist, we need to start the setup steps
	// by creating a new device and assigning it an IPv4 address.
	bridgeAlreadyExists := bridgeIface.exists()
	if !bridgeAlreadyExists {
		bridgeSetup.queueStep(setupDevice)
		bridgeSetup.queueStep(setupDefaultSysctl)
	}

再继续看 setupDevice，一切水落石处，Docker 网桥创建的关键在于 setupDevice

func setupDevice(config *networkConfiguration, i *bridgeInterface) error {
	// We only attempt to create the bridge when the requested device name is
	// the default one. The default bridge name can be overridden with the
	// DOCKER_TEST_CREATE_DEFAULT_BRIDGE env var. It should be used only for
	// test purpose.
	var defaultBridgeName string
	if defaultBridgeName = os.Getenv("DOCKER_TEST_CREATE_DEFAULT_BRIDGE"); defaultBridgeName == "" {
		defaultBridgeName = DefaultBridgeName
	}
	if config.BridgeName != defaultBridgeName && config.DefaultBridge {
		return NonDefaultBridgeExistError(config.BridgeName)
	}

	// Set the bridgeInterface netlink.Bridge.
	i.Link = &netlink.Bridge{
		LinkAttrs: netlink.LinkAttrs{
			Name: config.BridgeName,
		},
	}

	// Set the bridge's MAC address. Requires kernel version 3.3 or up.
	hwAddr := netutils.GenerateRandomMAC()
	i.Link.Attrs().HardwareAddr = hwAddr
	log.G(context.TODO()).Debugf("Setting bridge mac address to %s", hwAddr)

	if err := i.nlh.LinkAdd(i.Link); err != nil {
		log.G(context.TODO()).WithError(err).Errorf("Failed to create bridge %s via netlink", config.BridgeName)
		return err
	}

	return nil
}
linux 接口部分:

既然我们找到了库的实现，那么我们继续思考netlink库为什么能调在linux 系统里创建网桥，它到底是使用了kernel 开发的哪些能力？

分析go netlink 库我发现了一个函数叫linkModify，他的一段代码实现如下:

	_, err := req.Execute(unix.NETLINK_ROUTE, 0)
	if err != nil {
		return err
	}

底层使用的是 

func getNetlinkSocket(protocol int) (*NetlinkSocket, error) {
	fd, err := unix.Socket(unix.AF_NETLINK, unix.SOCK_RAW|unix.SOCK_CLOEXEC, protocol)
	if err != nil {
		return nil, err
	}
	s := &NetlinkSocket{
		fd: int32(fd),
	}
	s.lsa.Family = unix.AF_NETLINK
	if err := unix.Bind(fd, &s.lsa); err != nil {
		unix.Close(fd)
		return nil, err
	}

	return s, nil
}

也就是说Docker 的网络库最终使用的是

netlink socket API:
 socket()函数
        socket域（地址族）是AF_NETLINK
        socket类型是SOCK_RAW或SOCK_DGRAM，因为netlink是一种面向数据的服务
        netlink协议类型定义在netlink.h（以下以NETLINK_ROUTE为例），也可以自定义
AF_NETLINK 无疑是linux 中内核态和用户态通信的重要手段，他和ioctl的最大区别是，AF_NETLINK是一种协议族，提供了一种标准化的机制，用于用户态程序与内核之间进行网络相关的通信。它定义了不同的协议类型，如NETLINK_ROUTE、NETLINK_SELINUX等，以支持特定的网络操作和功能。使用AF_NETLINK，用户态程序可以发送特定类型的消息给内核，以请求或传递网络相关的信息。

docker 是使用AF_NETLINK 做的，而我们使用brctl 却是使用的ioctl

docker veth 设备是如何实现的

case *Veth:
		data := linkInfo.AddRtAttr(nl.IFLA_INFO_DATA, nil)
		peer := data.AddRtAttr(nl.VETH_INFO_PEER, nil)
		nl.NewIfInfomsgChild(peer, unix.AF_UNSPEC)
		peer.AddRtAttr(unix.IFLA_IFNAME, nl.ZeroTerminated(link.PeerName))
		if base.TxQLen >= 0 {
			peer.AddRtAttr(unix.IFLA_TXQLEN, nl.Uint32Attr(uint32(base.TxQLen)))
		}
		if base.NumTxQueues > 0 {
			peer.AddRtAttr(unix.IFLA_NUM_TX_QUEUES, nl.Uint32Attr(uint32(base.NumTxQueues)))
		}
		if base.NumRxQueues > 0 {
			peer.AddRtAttr(unix.IFLA_NUM_RX_QUEUES, nl.Uint32Attr(uint32(base.NumRxQueues)))
		}
		if base.MTU > 0 {
			peer.AddRtAttr(unix.IFLA_MTU, nl.Uint32Attr(uint32(base.MTU)))
		}
		if link.PeerHardwareAddr != nil {
			peer.AddRtAttr(unix.IFLA_ADDRESS, []byte(link.PeerHardwareAddr))
		}
		if link.PeerNamespace != nil {
			switch ns := link.PeerNamespace.(type) {
			case NsPid:
				val := nl.Uint32Attr(uint32(ns))
				peer.AddRtAttr(unix.IFLA_NET_NS_PID, val)
			case NsFd:
				val := nl.Uint32Attr(uint32(ns))
				peer.AddRtAttr(unix.IFLA_NET_NS_FD, val)
			}
		}

我们发现还是AF_NETLINK 实现的

三、快速组网组成一个测试网络

创建网桥

ip link add br0 type bridge

启动网桥

ip link set br0 up

创建网络命名空间ns1 和ns2 

~# ip netns add ns1
~# ip netns add ns2

 创建 veth 对

~# ip link add veth0 type veth peer br-veth0
~# ip link add veth1 type veth peer br-veth1

查看创建的 veth 对，通过查看此时 veth对 在 root名称空间下

ip address show

将创建的 veth对 的一端插入到指定的名称空间 

~# ip link set veth0 netns ns1
~# ip link set veth1 netns ns2

通过进入不同的名称空间查看网卡的一端

~# ip netns exec ns1 ip a
~# ip netns exec ns2 ip a

将创建的 veth对 的另一端插入到 br0 的桥接网卡

~# ip link set br-veth0 master br0
~# ip link set br-veth1 master br0

 启动网卡 veth0 veth1 br-veth0 br-veth1，并配置 ip 地址

// 开启网桥部分
~# ip link set br-veth0 up
~# ip link set br-veth1 up

// 开启ns里的veth
~# ip netns exec ns1 ip link set veth0 up
~# ip netns exec ns2 ip link set veth1 up

// 设置容器内的veth 设备ip
~# ip netns exec ns1 ifconfig veth0 192.168.100.10/24
~# ip netns exec ns2 ifconfig veth1 192.168.100.20/24

四、总结

Docker 创建网桥和Veth设备都是通过AF_NETLINK 套接字实现的，我需要去读 <精通linux内核网络>这本书去调研一下

序冢--磊
关注
  • 2
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
深入解析docker容器化技术
11-18
深入解析docker容器化技术
深入理解 Docker 网络——多机通信及 Docker Swarm 实战
一束尘光的技术分享
12-13 883
网络是云原生的灵魂，这篇文章将带你深入理解 Docker 在多机中是如何通信的
Docker核心技术
一点一滴铺就人生
07-30 1149
容器云是推动微服务发展的主要推手
Docker背后的内核知识——Namespace资源隔离
liukuan73的专栏
08-08 7995
http://www.infoq.com/cn/articles/docker-kernel-knowledge-namespace-resource-isolation?utm_source=tuicool Docker这么火，喜欢技术的朋友可能也会想，如果要自己实现一个资源隔离的容器，应该从哪些方面下手呢？也许你第一反应可能就是chroot命令，这条命令给用户最直观的感觉就是使用后根目录
9 张图带你深入理解 Docker 架构！
朱小厮的博客
04-20 525
点击上方“朱小厮的博客”，选择“设为星标”后台回复"书"，获取后台回复“k8s”，可领取k8s资料- Docker 的总体架构 -Docker 是一个 C/S...
详解如何修改 Docker 默认网桥地址
01-20
接着删除 Docker 默认网桥 docker0 ： $ sudo ip link set dev docker0 down $ sudo brctl delbr docker0 $ sudo iptables -t nat -F POSTROUTING 然后创建一个新的网桥，注意 bridge0 可以换成其他名称，
深入解析docker容器化技术视频教程
11-25
Docker容器、镜像操作什么是虚拟化以及docker架构Docker镜像以及容器操作搭建私有仓库、编写Dockerfile以及docker可视化工具搭建Docker私有仓库Docker集群管理 主讲内容章节一：docker入门1. 什么是虚拟化2. docker...
使用 Docker 自建一款怀旧游戏之 - 超级马里奥
Toasten
04-25 652
《 超级马里奥 》（Super Mario）是任天堂公司创造的一款经典游戏系列，是世界上最知名、最成功的游戏之一。这个系列由日本设计师宫本茂于 1985 年创造，最初的游戏名为《超级马里奥兄弟》（Super Mario Bros.），推出后风靡全球。
04 Docker练习赛从0开始到 docker 镜像提交
最新发布
TF（腾飞）开源
04-30 561
创建 Dockerfile这里 FROM 后面跟的是 baseimg 这里选择的是天池 baseimg 帖子里的第一个ADD ./ 是把当前文件夹里的文件构建到镜像的根目录下WORKDIR / 指定默认工作目录为跟目录（这里要注意指定后，需要把 run.sh 和生成的结果文件都存放在该文件夹下，否则提交会运行失败）第四句话是安装软件包，这里不需要，注释掉最后一句 CMD 就是镜像启动时执行什么命令，这里统一为 sh run.sh 不需要改动。
Docker consul的容器服务更新与发现
YUEAwb的博客
04-29 513
consul是google开源的一个使用go语言开发的服务管理软件。支持多数据中心、分布式高可用的、服务发现和配置共享。采用Raft算法，用来保证服务的高可用。内置了服务注册与发现框架、分布一致性协议实现、健康检查、Key/Value存储、多数据中心方案，不再需要依赖其他工具（比如ZooKeeper等）。服务部署简单，只有一个可运行的二进制的包。每个节点都需要运行agent，他有两种运行模式server 和 client。
[docker] docker 安全知识 - docker 系统性简介
GoldenaArcher的博客
04-27 902
今年的 security training 选的 topic 就是 docker 了，为了过这个 training 于是先把 docker 过了一遍（笑死之前干啃的时候确实觉得不太能看下去，不过走了一遍实践之后发现就比较好理解。
linux 关闭不了docker服务
zhangxu1998lq的博客
04-24 580
（如果它当前没有运行）。这就是为什么即使你停止了 Docker 服务，它仍然有可能被通过套接字激活的原因。如果你希望完全确保 Docker 服务不再运行，并且不能被套接字单元自动激活，你需要同时禁用和停止。是一个套接字单元，用于监听 Docker 的 API 请求。当这个套接字接收到请求时，它会激活。在 systemd 系统中，服务和套接字是分开管理的。先停止docker套接字。再停止docker就行了。
【Docker】Docker的网络与资源控制
Mo_nor的博客
04-26 924
直接使用bridge模式，是无法支持指定IP运行docker的，例如执行以下命令就会报错可以先定义网络，再使用指定IP运行docker#docker1 为执行 ifconfig -a 命令时，显示的网卡名，如果不使用 --opt 参数指定此名称，那你在使用 ifconfig -a 命令查看网络信息时，看到的是类似 br-110eb56a0b22 这样的名字，这显然不怎么好记。#mynetwork 为执行 docker network list 命令时，显示的bridge网络模式名称。
华纳云：如何使用Docker进行有效的日志管理？
YOKEhn的博客
04-25 277
3.使用日志转发器：如果您的应用程序需要将日志发送到外部日志收集器或分析系统(如 Elasticsearch、Logstash、Fluentd、Kafka 等)，可以使用日志转发器，如 Fluentd 或 Filebeat，将容器日志转发到指定的目标。综上所述，通过合适的配置和工具，您可以在 Docker 中实现有效的日志管理，提高日志的可访问性、可用性和安全性，从而更好地监控和管理容器化应用程序的日志。使用 Docker 进行有效的日志管理可以帮助您轻松地收集、存储、分析和监控容器日志。
Docker: 如何不新建容器 修改运行容器的端口
zzzxxx520369的博客
04-30 77
目前正在运行的容器 宿主机的3000 端口 映射 容器端口80。去修改，找到文件 hostconfig.json 所在位置。项目需求修改容器的映射端口。重启docker 服务。先停止需要修改的容器。
Dockerfile加docker-compose构建编排web应用
codelearning的专栏
04-27 263
这意味着，当您访问主机的 5000 端口时，实际上是访问容器中的 5000 端口。用flask框架写一个web服务器应用，使用Dockerfile构建镜像，然后用docker-compose编排启动应用。最终目录结构如下,同一目录中创建了app.py, Dockerfile 和 docker-compose.yml 文件。context: 表示构建的上下文，即 Docker 将从哪个目录开始读取构建所需的文件。ports: 这是端口映射配置，用于将 Docker 容器内部的端口与主机上的端口连接。
修改docker0网桥的ip
05-26
要修改docker0网桥的IP，可以使用以下步骤： 1. 停止docker服务 ``` sudo systemctl stop docker ``` 2. 修改docker0网桥的IP ``` sudo ip addr del <旧的IP地址>/<子网掩码> dev docker0 sudo ip addr add <新的IP地址>/<子网掩码> dev docker0 ``` 例如，如果要将docker0网桥的IP地址修改为192.168.0.1/24，则可以使用以下命令： ``` sudo ip addr del 172.17.0.1/16 dev docker0 sudo ip addr add 192.168.0.1/24 dev docker0 ``` 3. 启动docker服务 ``` sudo systemctl start docker ``` 这样就完成了docker0网桥IP地址的修改。请注意，如果您的容器依赖于docker0网桥，请确保将其配置为新的IP地址。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值