HashiCorp Nomad 中的 CNI 插件与桥接网络配置指南-CSDN博客

本文链接：https://blog.csdn.net/gitblog_00101/article/details/148377752

HashiCorp Nomad 中的 CNI 插件与桥接网络配置指南

nomad hashicorp/nomad: Nomad 是 HashiCorp 公司开发的一款易于部署和管理的调度器，它支持跨数据中心进行容器、虚拟机和任务进程等工作负载的自动化部署与管理。项目地址: https://gitcode.com/gh_mirrors/no/nomad

前言

在现代容器编排系统中，网络配置是一个关键组件。HashiCorp Nomad 通过集成 CNI（Container Network Interface）插件，为用户提供了灵活且强大的网络配置能力。本文将深入探讨如何在 Nomad 中使用 CNI 插件配置桥接网络，帮助您理解其工作原理并掌握实际配置方法。

CNI 基础概念

CNI 是一种标准化的容器网络接口规范，它定义了：

网络配置格式
插件执行方式
容器运行时与网络插件的交互协议

Nomad 利用 CNI 插件实现了多种网络功能，包括桥接网络模式和 Consul 服务网格等。这种设计使得 Nomad 能够以操作系统无关的方式配置工作负载网络。

准备工作

在开始配置前，请确保：

您已熟悉 CNI 参考插件的基本概念
了解 Nomad 如何使用 CNI 插件实现桥接网络
运行环境为 Linux 系统
Nomad 客户端已正确安装并运行

完整配置流程

1. 安装 CNI 参考插件

CNI 参考插件是 CNI 规范的基础实现，包含多种网络功能组件。安装步骤如下：

# 创建插件目录
sudo mkdir -p /opt/cni/bin

# 下载并解压 CNI 插件包
curl -L -o cni-plugins.tgz https://github.com/containernetworking/plugins/releases/download/v1.0.0/cni-plugins-linux-amd64-v1.0.0.tgz
sudo tar -C /opt/cni/bin -xzf cni-plugins.tgz

# 验证安装
ls /opt/cni/bin

2. 配置桥接模块通过 iptables 路由流量

为确保桥接网络正常工作，需要配置内核参数：

# 加载内核模块
sudo modprobe br_netfilter

# 设置系统参数
echo 1 | sudo tee /proc/sys/net/bridge/bridge-nf-call-iptables
echo 1 | sudo tee /proc/sys/net/ipv4/ip_forward

# 使配置永久生效
echo "br_netfilter" | sudo tee /etc/modules-load.d/br_netfilter.conf
echo "net.bridge.bridge-nf-call-iptables = 1" | sudo tee /etc/sysctl.d/99-bridge.conf
echo "net.ipv4.ip_forward = 1" | sudo tee -a /etc/sysctl.d/99-bridge.conf
sudo sysctl --system

3. 创建桥接模式配置

Nomad 使用 CNI 配置模板实现桥接网络。以下是典型配置示例：

{
  "cniVersion": "1.0.0",
  "name": "nomad",
  "plugins": [
    {
      "type": "loopback"
    },
    {
      "type": "bridge",
      "bridge": "nomad",
      "ipMasq": true,
      "isGateway": true,
      "forceAddress": true,
      "hairpinMode": false,
      "ipam": {
        "type": "host-local",
        "ranges": [
          [
            {
              "subnet": "172.26.64.0/20"
            }
          ]
        ],
        "routes": [
          { "dst": "0.0.0.0/0" }
        ]
      }
    },
    {
      "type": "firewall",
      "backend": "iptables",
      "iptablesAdminChainName": "NOMAD-ADMIN"
    },
    {
      "type": "portmap",
      "capabilities": {"portMappings": true},
      "snat": true
    }
  ]
}

配置解析

loopback 插件：为网络命名空间创建本地回环接口
bridge 插件：
- 创建名为 "nomad" 的虚拟交换机
- 配置 IP 地址伪装(ipMasq)
- 设置网关功能(isGateway)
- 使用 host-local IPAM 分配地址
firewall 插件：
- 使用 iptables 后端
- 创建 CNI-FORWARD 和 NOMAD-ADMIN 链
portmap 插件：实现端口映射和 NAT 功能

将配置文件保存到 /opt/cni/config/nomad.conflist

4. 配置 Nomad 客户端

修改 Nomad 客户端配置以启用 CNI 支持：

client {
  enabled = true
  cni_path = "/opt/cni/bin"
  cni_config_dir = "/opt/cni/config"
}

重启 Nomad 客户端使配置生效：

sudo systemctl restart nomad

在作业中使用 CNI 网络

配置完成后，可以在 Nomad 作业中指定使用 CNI 网络：

job "example" {
  group "web" {
    network {
      mode = "cni/nomad"
      port "http" {
        static = 8080
      }
    }
    
    task "server" {
      driver = "docker"
      config {
        image = "nginx:alpine"
        ports = ["http"]
      }
    }
  }
}

网络架构解析

Nomad 桥接网络架构包含以下关键组件：

虚拟交换机：由 bridge 插件创建，连接同一主机上的所有工作负载
网络命名空间：每个分配获得独立的网络命名空间
veth 对：连接容器与桥接设备
iptables 规则：管理流量转发和防火墙规则

常见问题排查

网络连接问题：
- 检查 brctl show 确认桥接设备存在
- 使用 ip addr show 验证接口状态
- 检查 iptables -L 和 iptables -t nat -L 确认规则正确
端口映射问题：
- 验证端口未被占用
- 检查 dmesg 查看内核日志
IP 分配问题：
- 检查 /var/lib/cni/networks 下的 IP 分配状态
- 确认子网有足够可用地址