OpenShift Virtualization - 通过外部固定 IP 访问 VM 中的服务（附视频）

已于 2023-12-07 07:20:40 修改
阅读量1.5k 收藏 1
点赞数
文章标签： openshift 虚拟化 VM kubernetes 运维
于 2023-06-14 15:45:28 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43902588/article/details/130424520
版权

《OpenShift / RHEL / DevSecOps 汇总目录》
说明：本文已经在 OpenShift 4.12 的环境中验证

文章目录


可以使用以下两种方法实现从 OpenShift 集群外部访问运行在容器 VM 中的服务：

方法1：通过 Service 的 NodePort 访问 VM

缺省情况下运行在 OpenShift Virtualization 中的 VM 使用的是 Pod 网络，因此只能通过 Pod 网络实现从 OpenShift 集群外部访问 VM 或从 VM 访问外部资源。由于每次 VM 重启后其对应的 Pod 都会变更其 IP，因此即便是在集群内部也无法直接用 IP 地址访问 VM。如果只需要从集群内部访问 VM，使用 Service 对应 Pod 即可，但如果需要从 OpenShift 集群外部访问 VM，还需要为 Service 绑定 NodePort 才可以。

可参考《OpenShift 4 - 通过 SSH 远程访问 OpenShift Virtualization 的虚拟机》一文。该文以运行在 22 端口的 SSH 服务为例，也适用于其他服务。

方法2：通过外部 IP 访问 VM

为了能够以固定 IP 访问OpenShift Virtualization 中 VM，我们可以为运行在 OpenShift Virtualization 中的 VM 配置第二个 Network Interface，并将其 IP 配置到外部网络（例如外部主机网段）。

为了实现该场景，需要以下配置步骤：
在这里插入图片描述

  1. 安装 NMStat Operator
  2. 首先在 OpenShift 中使用 NodeNetworkConfigurationPolicy 对象为 Worker 节点添加 Linux Bridge，这些 Linux Bridge 即可使用主机节点的 IP 网段地址。
  3. 然后在 OpenShift 中创建一个使用该 Linux Bridge 的 NetworkAttachmentDefinition 对象
  4. 最后在 VM 中添加第二个 Network Interface，将其配置到 NetworkAttachmentDefinition 对象，这样 VM 就可以通过 Linux Bridge 使用外部的主机 IP 网段地址了。

此种方法虽然需要在 OpenShift 上进行单独的配置，但由于可通过外部主机使用的 IP 网段直接访问 VM，因此具有更高的网络性能。此方法另外的优势是由于该 VM 在第二个 Network Interface 上使用了外部 IP，因此当 VM 重启后，第二个 Network Interface 对应的 IP 地址不会发生变化。

VM 使用的外部 IP 可以是通过集群外部的 DHCP 分配的，也可是通过手动直接配置的。另外该 IP 的 DNS 解析也需要通过集群外部的 DNS 完成。

确认 OpenShift 集群环境

以下为 BareMetal 部署模式的 OpenShift 集群。

  1. 从“裸机主机” 中确认 Worker 节点的配置中有 enp3s0 的 nic 配置和对应的网段，该外网段为外部主机网段。
    在这里插入图片描述
  2. 由于每个 Node 运行在对应的裸机主机上，因此每个 Worker Node 也有 enp3s0 网络接口。
    在这里插入图片描述
  3. 创建一个运行 VM 的项目。
$ oc new-project my-vm
  1. 执行命令，查看节点相关的 “192.168” 网段 IP 地址。注意此时只有 enp2s0 网络接口有该网段地址。
$ oc debug node/<WORKER_NODE_NAME> -- ip a | grep -B 2 192.168
Temporary namespace openshift-debug-f5gxs is created for debugging node...
Starting pod/ocp4-worker1aioexamplecom-debug ...
To use host binaries, run `chroot /host`

3: enp2s0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc fq_codel state UP group default qlen 1000
    link/ether 52:54:00:00:00:04 brd ff:ff:ff:ff:ff:ff
    inet 192.168.123.104/24 brd 192.168.123.255 scope global dynamic noprefixroute enp2s0

为 Worker 节点添加 Linux Bridge

  1. 使用默认配置安装 Kubernetes NMState Operator。
  2. 在安装好的 Kubernetes NMState Operator 中使用默认配置创建一个 NMState 实例。
  3. 创建以下配置的 NodeNetworkConfigurationPolicy 对象，它将在节点名为 enp3s0 的 NIC 上创建 linux-bridge。注意：这里的 ipv4 的 dhcp 和 enabled、bridge 的 enabled 都为 true。
apiVersion: nmstate.io/v1
kind: NodeNetworkConfigurationPolicy
metadata:
  name: br-flat
spec:
  nodeSelector:
    node-role.kubernetes.io/worker: ""
  desiredState:
    interfaces:
      - name: br-flat
        description: Linux bridge with enp3s0 as a port
        type: linux-bridge
        state: up
        ipv4:
          dhcp: true
          enabled: true
        bridge:
          options:
            stp:
              enabled: true
          port:
            - name: enp3s0
  1. 由于使用了 nodeSelector，因此完成创建后确认在 Worker 节点完成了配置。
    在这里插入图片描述
  2. 完成后可以执行以下命令，可以找到 br-flat 网桥相关配置。注意：如果前面 NodeNetworkConfigurationPolicy 对象的 ipv4 和 bridge 设的是 false，则以下 br-flat 不会获得 IP 地址 192.168.3.108。
$ oc debug node/ocp4-worker1.aio.example.com -- ip a | grep -A 1 br-flat
Temporary namespace openshift-debug-z5w2p is created for debugging node...
Starting pod/ocp4-worker1aioexamplecom-debug ...
To use host binaries, run `chroot /host`

4: enp3s0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc fq_codel master br-flat state UP group default qlen 1000
    link/ether 52:54:00:00:01:04 brd ff:ff:ff:ff:ff:ff
9: br-flat: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue state UP group default qlen 1000
    link/ether 52:54:00:00:01:04 brd ff:ff:ff:ff:ff:ff
    inet 192.168.3.108/24 brd 192.168.3.255 scope global dynamic noprefixroute br-flat
       valid_lft 2307sec preferred_lft 2307sec

$ oc debug node/ocp4-worker1.aio.example.com -- ip a | grep 192.168
Temporary namespace openshift-debug-lzqjb is created for debugging node...
Starting pod/ocp4-worker1aioexamplecom-debug ...
To use host binaries, run `chroot /host`
    inet 192.168.123.104/24 brd 192.168.123.255 scope global dynamic noprefixroute enp2s0
    inet 192.168.3.108/24 brd 192.168.3.255 scope global dynamic noprefixroute br-flat

$ oc debug node/ocp4-worker1.aio.example.com -- cat /host/etc/sysconfig/network-scripts/ifcfg-enp3s0
Temporary namespace openshift-debug-v6pms is created for debugging node...
Starting pod/ocp4-worker1aioexamplecom-debug ...
To use host binaries, run `chroot /host`

TYPE=Ethernet
NAME=enp3s0
DEVICE=enp3s0
ONBOOT=yes
BRIDGE_PORT_VLANS=2-4094
UUID=63aa2036-8665-f54d-9a92-c3035bad03f7
LLDP=no
BRIDGE_UUID=1d670e6a-944c-427b-994f-b4d2690e00b2
BRIDGE=br-flat

创建使用 Linux Bridge 的 NetworkAttachmentDefinition

  1. 进入 OpenShift 控制台的“网络-NetworkAttachmentDefinition”菜单，然后在 my-vm 项目下点击“创建 Network Attachment Definition”。
    在这里插入图片描述
  2. 在 Create Network Attachment Definition 页面中按下图创建 NetworkAttachmentDefinition 对象。
    在这里插入图片描述

在 VM 中使用附加网络

自动获得 IP 的 VM

  1. 在 OpenShift 中创建一个 VM，在它的 Network Interfaces 栏中点击 Add network interface。
    在这里插入图片描述
  2. 在 Add network interface 配置窗口中按照下图指定其类型和使用的 Network。
    在这里插入图片描述
  3. 创建并运行 VM。启动 VM 后确认该 VM 的第二个网络接口的 IP 地址，并可从外部 ping 通该 IP。
    在这里插入图片描述
[fedora@fedora-1 ~] $ ip a show dev eth1
3: eth1: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc fq_codel state UP group default qlen 1000
    link/ether 02:9e:7c:00:00:01 brd ff:ff:ff:ff:ff:ff
    altname enp2s0
    inet 192.168.3.103/24 brd 192.168.3.255 scope global dynamic noprefixroute eth1
       valid_lft 2905sec preferred_lft 2905sec
    inet6 fe80::9fe3:1227:d23:1d9b/64 scope link noprefixroute
       valid_lft forever preferred_lft forever

[fedora@fedora-1 ~] $ nmcli con show 'Wired connection 1' | grep DHCP4
DHCP4.OPTION[1]:                        broadcast_address = 192.168.3.255
DHCP4.OPTION[2]:                        dhcp_client_identifier = 01:02:9e:7c:00:00:01
DHCP4.OPTION[3]:                        dhcp_lease_time = 3600
DHCP4.OPTION[4]:                        dhcp_server_identifier = 192.168.3.1
DHCP4.OPTION[5]:                        domain_name_servers = 192.168.3.1
DHCP4.OPTION[6]:                        expiry = 1684047661
DHCP4.OPTION[7]:                        host_name = fedora-1
DHCP4.OPTION[8]:                        ip_address = 192.168.3.103
DHCP4.OPTION[9]:                        next_server = 192.168.3.1
DHCP4.OPTION[10]:                       requested_broadcast_address = 1
DHCP4.OPTION[11]:                       requested_domain_name = 1
DHCP4.OPTION[12]:                       requested_domain_name_servers = 1
DHCP4.OPTION[13]:                       requested_domain_search = 1
DHCP4.OPTION[14]:                       requested_host_name = 1
DHCP4.OPTION[15]:                       requested_interface_mtu = 1
DHCP4.OPTION[16]:                       requested_ms_classless_static_routes = 1
DHCP4.OPTION[17]:                       requested_nis_domain = 1
DHCP4.OPTION[18]:                       requested_nis_servers = 1
DHCP4.OPTION[19]:                       requested_ntp_servers = 1
DHCP4.OPTION[20]:                       requested_rfc3442_classless_static_routes = 1
DHCP4.OPTION[21]:                       requested_root_path = 1
DHCP4.OPTION[22]:                       requested_routers = 1
DHCP4.OPTION[23]:                       requested_static_routes = 1
DHCP4.OPTION[24]:                       requested_subnet_mask = 1
DHCP4.OPTION[25]:                       requested_time_offset = 1
DHCP4.OPTION[26]:                       requested_wpad = 1
DHCP4.OPTION[27]:                       routers = 192.168.3.1
DHCP4.OPTION[28]:                       subnet_mask = 255.255.255.0

指定固定 IP 的 VM

在上一步正式运行 fedora-1 前先进入 VM 的 YAML，在 cloudInitNoCloud 下面增加以下使用固定 IP 的网卡配置，保存后再创建 VM。

            networkData: |
              version: 2
              ethernets:
                eth1:
                  addresses:
                  - 192.168.3.201/24

在这里插入图片描述

修改 VM 的外部固定 IP

  1. 重启 VM，然后确认第二个网络接口的 IP 地址不会变化。
  2. 执行命令进入 VM 的 Console 并登录 VM。注意命令提示的退出 VM Console 的方式。
$ virtctl console fedora-1
Successfully connected to fedora-1 console. The escape sequence is ^]

fedora-1 login:
  1. 在 VM 中查看 eth1 的 IP 地址，例如 192.168.3.103。
[fedora@fedora-1 ~] ip a show eth1
  1. 执行命令，将 VM 使用的外部 IP 地址修改为 192.168.3.201/24。
[fedora@fedora-1 ~] nmcli con show
[fedora@fedora-1 ~] sudo nmcli con modify "Wired connection 1" +ipv4.addresses 192.168.3.201/24
[fedora@fedora-1 ~] sudo nmcli con modify "Wired connection 1" -ipv4.addresses 192.168.3.103/24
[fedora@fedora-1 ~] sudo nmcli con down "Wired connection 1"
[fedora@fedora-1 ~] sudo nmcli con up "Wired connection 1"
  1. 在 VM 中安装 NginX。
[fedora@fedora-1 ~] sudo yum install -y nginx
[fedora@fedora-1 ~] sudo systemctl start nginx
  1. 退出 VM Console。
  2. 然后确认可以从外部 ping 通 VM 新的 IP 地址并能访问 NginX，而且在重启 VM 后 IP 地址也不会变化。
$ ping 192.168.3.201
$ curl 192.168.3.201
  1. 删除 VM 的 default 的网络接口，然后确认还可从外部访问 ping 通主机和访问 NginX。

演示视频

视频

参考

https://www.redhat.com/en/blog/secondary-network-overlays-virtualization-workloads
https://www.cnblogs.com/djlsunshine/p/9733182.html
http://kubevirt.io/2023/OVN-kubernetes-secondary-networks.html
https://cloud.redhat.com/blog/using-the-multus-cni-in-openshift
https://github.com/nmstate/kubernetes-nmstate/blob/main/docs/examples/static-ip.yaml
https://github.com/alvarolop/ocp-virtualization-playground

dawnsky.liu
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
OpenShift 4 - 用 OpenShift Virtualization 运行容器化虚拟机（附视频）
多恩斯基的博客
05-02 1920
《[OpenShift / RHEL / DevSecOps 汇总目录](https://blog.csdn.net/weixin_43902588/article/details/105060359)》 文本已在OpenShift 4.10环境中进行验证。
局域网其他设备访问本机VMware虚拟机服务器
最新发布
u010201661的博客
12-22 3399
在VMware虚拟机安装了nginx后，在宿主机的浏览器可以通过NAT模式访问，但使用局域网的其他机器就访问不了了， 此时可以通过设置WMware的虚拟网络来解决此问题。
OpenShift 4 - 将 VMware 虚机迁移至 OpenShift Virtualization（视频）- 冷迁移
多恩斯基的博客
02-14 742
说明：本文已经在支持 OpenShift 4.12 的 OpenShift 环境中验证。
OpenShift 4 - 将 VMware 虚机迁移至 OpenShift Virtualization（视频）- 温迁移
多恩斯基的博客
02-21 320
说明：本文已经在支持 OpenShift 4.12 的 OpenShift 环境中验证。
OpenShift 4 - 在单机版 OpenShift Local 中运行 OpenShift Virtualization（视频）
多恩斯基的博客
02-08 999
本文已经在支持 OpenShift 4.12 的 OpenShift Local 环境中验证
openshift-eventforwarder:将OpenShift事件转发到外部日志记录平台
05-10
我们需要在OSE集群之外托管所有OpenShift事件，因为如果我们将所有项目的事件保留一天以上，它将淹没我们的etcd数据存储区。 因此，此工具仅附加到kubernetes API并将所有事件记录到控制台，以捕获它们并将其发送到...
openshift-jee-sample:将在openshift环境中部署的示例应用程序
04-01
openshift-jee-sample 将在openshift环境中部署的示例应用程序 注意：要使用maven构建该存储库，必须指定“ -Popenshift”，例如“ mvn clean package -Popenshift”
openshift4-vmware-upi：支持在VMware上自动安装OpenShift 4的Ansible手册和文档
01-31
在VMware上自动配置OpenShift 4.6 该存储库包含一组手册，以帮助促进OpenShift 4.6在VMware上的部署。 OpenShift 4.6的更改 请注意，如果未对append bootstrap配置进行一些修改，则此安装程序将无法与OpenShift的...
openshift-java-client, OpenShift REST API的Java客户端.zip
09-18
openshift-java-client, OpenShift REST API的Java客户端 OpenShift客户端 OpenShift REST API的Java客户端。 它几乎提供了 rhc-* 命令行 工具( 。创建/重命名域，创建/销毁应用程序，列出应用程序，列出可用墨盒，...
openshift-nodejs-dynamic:OpenShift 中带有 nodejs 的动态服务
06-02
openshift-nodejs-dynamic OpenShift 中带有 nodejs 的动态服务
openshift三种网络支持方式概述
nejore的博客
05-31 674
openshift三种网络支持方式概述
OpenShift 4 - KubeVirt 虚机使用的磁盘和卷
多恩斯基的博客
05-08 1010
说明：本文已经在 OpenShift 4.12 环境中验证。
linux服务器 openshift,使用Minishift运行本地Openshift集群的方法
weixin_39705435的博客
04-29 375
本文介绍在Linux系统上运行Openshift OKD环境的最简单方法，使用Minishift运行本地Openshift集群的方法。Minishift简介Minishift是一个开源工具，可帮助你在VM内部本地运行单节点OpenShift集群，可以在本地主机上试用OpenShift或与它一起开发。Minishift需要管理程序来启动配置OpenShift集群的虚拟机，我们将在Minishift设...
docker 网络管理
bittersweet0324的博客
05-15 3048
docker 第二部分 一.网络管理 1.原理 docker在被安装以后，默认使用桥接模式，会自动建立一个网桥docker0。当有容器被创建是宿主机会自动会给容器分配一个ip。 [root@foundation36 Desktop]# systemctl start docker [root@foundation16 Desktop]# docker network ls NETWOR
linux 网卡无驱动处理方法
sunkezhen的专栏
03-09 3542
有时候在安装linux系统后，或者系统升级后，发现开机网卡没有加载，大家可以尝试用一下方法解决： 1、ip addr 查看网卡 一般可以查看网卡名称，如下，我的就可以查到两块网卡：“enp4s0”、“enp5s0”; zhanlian@chenghua:/dat/app$ ip addr 1: enp4s0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc fq_codel state UP group default 2: enp5s
ubuntu20.04设置配置静态ip
热门推荐
johnhuster的专栏
11-03 1万+
ubuntu20.04设置配置静态ip方法 1. 前言 本教程将会演示Ubuntu20.04 Server版系统的静态固定IP地址。 2. 确认你要修改的网卡号 先确认你要修改的网卡号，假设你的服务器有多张网卡： 1 ubuntu2004:~$ ip addr 我的服务器配置如下： 1 2 3 4 5 6 7 8 9 10 11 12 1
Ubuntu 20.04 修改网卡名称为eth0
青蛙之家
02-20 1万+
查看当前网卡名称 daily@jenkins:~$ ip a 1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1000 link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00 inet 127.0.0.1/8 scope host lo valid_lft forever preferred......
用CodeReady Containers在本地安装OpenShift 4集群
锐意工作室
03-04 1407
文章目录用CodeReady Containers在本地安装OpenShift 4集群前言CodeReady Containers 架构在本地环境安装CodeReady Containers下载安装文件和pull secret安装OpenShift集群启动OpenShift集群访问OpenShift集群访问OpenShift Web console用oc命令行工具访问OpenShiftTroubleshooting没有非root用户非root用户没有sudo权限磁盘空间不足crc requires at l
openshift internal-registry 切换 sc
05-25
要在 OpenShift 中切换内部注册表的 StorageClass（SC），可以遵循以下步骤： 1. 查看当前内部注册表的 StorageClass： ``` oc get cm image-registry-config -n openshift-image-registry -ojsonpath='{.data.storage}' ``` 2. 在输出中找到当前使用的 StorageClass 的名称，例如 `default`. 3. 创建一个新的 StorageClass，例如 `new-sc`, 并设置适当的参数（例如 storageClassName、provisioner、parameters 等）。 4. 更新内部注册表的配置以使用新的 StorageClass： ``` oc patch configs.imageregistry.operator.openshift.io/cluster -n openshift-image-registry --type merge --patch '{"spec":{"storage":{"pvc": {"claim": {"storageClassName": "new-sc"}}}}}' ``` 5. 验证配置是否已更新： ``` oc get cm image-registry-config -n openshift-image-registry -ojsonpath='{.data.storage}' ``` 在输出中，应该看到新的 StorageClass 的名称。现在内部注册表将使用新的 StorageClass 来创建持久卷声明（PVC）。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值