KubeOVN 支持 KubeVirt 网卡热插实践

已于 2023-03-23 19:49:38 修改
阅读量751 收藏
点赞数
分类专栏： Kubernetes Kubevirt KubeOVN 文章标签： kubevirt kubeovn
于 2023-03-21 00:58:57 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/mr1jie/article/details/129679753
版权
Kubernetes 同时被 3 个专栏收录
24 篇文章 2 订阅
订阅专栏
Kubevirt
3 篇文章 0 订阅
订阅专栏
KubeOVN
2 篇文章 0 订阅
订阅专栏
本文详细介绍了如何使用KubeOVN和KubeVirt，结合Multus和dynamic-networks-controller，配置和部署虚拟机以支持动态添加网络接口。通过编辑Pod和使用virtctl命令，成功为虚拟机添加了第二张网卡并验证了网络连通性，但热拔插功能目前尚未实现。
摘要由CSDN通过智能技术生成

文章目录


本文描述基于 KubeOVN + KubeVirt 实现网卡热插的实践方法。
基于 containerd。

版本

kubeovn 基于 feature 提交
kubevirt 基于 commit 3bee1de7b4f8bab059817cf44d636d2521dec8a9

部署

kubeovn + kubevirt

kubeovn 基于社区 install.sh 脚本部署，然后 kube-ovn-controller 镜像替换
kubevirt 可以使用 镜像 quay.io/kubevirt/virt-operator:20230320_3bee1de7b

kubevirt 需要开启 feature-gate

---
apiVersion: kubevirt.io/v1
kind: KubeVirt
metadata:
  name: kubevirt
  namespace: kubevirt
spec:
  configuration:
    developerConfiguration: 
      featureGates:
        - HotplugNICs

dynamic-networks-controller

git clone https://github.com/k8snetworkplumbingwg/multus-dynamic-networks-controller.git
cd multus-dynamic-networks-controller
kubectl apply -f manifests/dynamic-networks-controller.yaml

multus

git clone https://github.com/k8snetworkplumbingwg/multus-cni.git && cd multus-cni
cat ./deployments/multus-daemonset-thick.yml | kubectl apply -f -

apiVersion: "k8s.cni.cncf.io/v1"
kind: NetworkAttachmentDefinition
metadata:
  name: net1
  namespace: default
spec:
  config: '{
    "cniVersion": "0.3.1",
    "name": "kube-ovn",
    "plugins":[
        {
            "type":"kube-ovn",
            "server_socket":"/run/openvswitch/kube-ovn-daemon.sock",
            "provider": "net1.default.ovn"
        },
        {
            "type":"portmap",
            "capabilities":{
                "portMappings":true
            }
        }
    ]
}'

使用

创建虚拟机

apiVersion: kubevirt.io/v1
kind: VirtualMachineInstance
metadata:
  name: testvmi-nocloud
spec:
  terminationGracePeriodSeconds: 30
  domain:
    resources:
      requests:
        memory: 1024M
    devices:
      disks:
      - name: containerdisk
        disk:
          bus: virtio
      - name: emptydisk
        disk:
          bus: virtio
      - disk:
          bus: virtio
        name: cloudinitdisk
  volumes:
  - name: containerdisk
    containerDisk:
      image: kubevirt/fedora-cloud-container-disk-demo:latest
  - name: emptydisk
    emptyDisk:
      capacity: "2Gi"
  - name: cloudinitdisk
    cloudInitNoCloud:
      userData: |-
        #cloud-config
        password: fedora
        chpasswd: { expire: False }

检查 pod

$ kubectl get pods -owide
virt-launcher-testvmi-nocloud-sl55d   2/2     Running   0          61s   10.16.0.49   node113   <none>           1/1

$ kubectl exec -it virt-launcher-testvmi-nocloud-sl55d ip a
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1000
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
       valid_lft forever preferred_lft forever
    inet6 ::1/128 scope host 
       valid_lft forever preferred_lft forever
2: eth0: <BROADCAST,NOARP> mtu 1500 qdisc noop state DOWN group default 
    link/ether 66:6d:26:df:ab:7c brd ff:ff:ff:ff:ff:ff
    inet 10.16.0.49/16 brd 10.16.255.255 scope global eth0
       valid_lft forever preferred_lft forever
3: k6t-eth0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1400 qdisc noqueue state UP group default 
    link/ether 3e:4c:d9:14:6f:1f brd ff:ff:ff:ff:ff:ff
    inet 169.254.75.10/32 scope global k6t-eth0
       valid_lft forever preferred_lft forever
    inet6 fe80::3c4c:d9ff:fe14:6f1f/64 scope link 
       valid_lft forever preferred_lft forever
4: tap0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1400 qdisc fq_codel master k6t-eth0 state UP group default qlen 1000
    link/ether fa:5a:68:6c:06:50 brd ff:ff:ff:ff:ff:ff
    inet6 fe80::f85a:68ff:fe6c:650/64 scope link 
       valid_lft forever preferred_lft forever
41: eth0-nic@if42: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1400 qdisc noqueue master k6t-eth0 state UP group default 
    link/ether 3e:4c:d9:14:6f:1f brd ff:ff:ff:ff:ff:ff link-netnsid 0
    inet6 fe80::3c4c:d9ff:fe14:6f1f/64 scope link 
       valid_lft forever preferred_lft forever

检查 虚拟机

$ virtctl console testvmi-nocloud
$ ip a
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1000
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
       valid_lft forever preferred_lft forever
    inet6 ::1/128 scope host 
       valid_lft forever preferred_lft forever
2: eth0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1400 qdisc fq_codel state UP group default qlen 1000
    link/ether 00:00:00:3b:e5:7b brd ff:ff:ff:ff:ff:ff
    altname enp1s0
    inet 10.16.0.49/16 brd 10.16.255.255 scope global dynamic noprefixroute eth0
       valid_lft 86313549sec preferred_lft 86313549sec
    inet6 fe80::200:ff:fe3b:e57b/64 scope link 
       valid_lft forever preferred_lft forever

KubeOVN 添加第二张网卡

添加第二张网卡信息，选择上面的 network-attachment-definition 和 subnet

$ kubectl edit pod  virt-launcher-testvmi-nocloud-sl55d
......
k8s.v1.cni.cncf.io/networks: '[{"interface":"net1","name":"net1","namespace":"default"}]'
net1.default.ovn.kubernetes.io/logical_switch: subnet-ipv4
......

检查，新增 net1 192.168.2.15/24

$ kubectl exec -it virt-launcher-testvmi-nocloud-sl55d ip a
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1000
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
       valid_lft forever preferred_lft forever
    inet6 ::1/128 scope host 
       valid_lft forever preferred_lft forever
2: eth0: <BROADCAST,NOARP> mtu 1500 qdisc noop state DOWN group default 
    link/ether 66:6d:26:df:ab:7c brd ff:ff:ff:ff:ff:ff
    inet 10.16.0.49/16 brd 10.16.255.255 scope global eth0
       valid_lft forever preferred_lft forever
3: k6t-eth0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1400 qdisc noqueue state UP group default 
    link/ether 3e:4c:d9:14:6f:1f brd ff:ff:ff:ff:ff:ff
    inet 169.254.75.10/32 scope global k6t-eth0
       valid_lft forever preferred_lft forever
    inet6 fe80::3c4c:d9ff:fe14:6f1f/64 scope link 
       valid_lft forever preferred_lft forever
4: tap0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1400 qdisc fq_codel master k6t-eth0 state UP group default qlen 1000
    link/ether fa:5a:68:6c:06:50 brd ff:ff:ff:ff:ff:ff
    inet6 fe80::f85a:68ff:fe6c:650/64 scope link 
       valid_lft forever preferred_lft forever
41: eth0-nic@if42: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1400 qdisc noqueue master k6t-eth0 state UP group default 
    link/ether 3e:4c:d9:14:6f:1f brd ff:ff:ff:ff:ff:ff link-netnsid 0
    inet6 fe80::3c4c:d9ff:fe14:6f1f/64 scope link 
       valid_lft forever preferred_lft forever
43: net1@if44: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1400 qdisc noqueue state UP group default 
    link/ether 00:00:00:d6:bb:bd brd ff:ff:ff:ff:ff:ff link-netnsid 0
    inet 192.168.2.15/24 brd 192.168.2.255 scope global net1
       valid_lft forever preferred_lft forever
    inet6 fe80::200:ff:fed6:bbbd/64 scope link 
       valid_lft forever preferred_lft forever

virtctl 添加 interface

添加到 虚拟机内，命名 eth1

$ virtctl addinterface testvmi-nocloud   --network-name default/net1 --iface-name eth1

检查 pod

$ kubectl exec -it virt-launcher-testvmi-nocloud-sl55d ip a
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1000
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
       valid_lft forever preferred_lft forever
    inet6 ::1/128 scope host 
       valid_lft forever preferred_lft forever
2: eth0: <BROADCAST,NOARP> mtu 1500 qdisc noop state DOWN group default 
    link/ether 66:6d:26:df:ab:7c brd ff:ff:ff:ff:ff:ff
    inet 10.16.0.49/16 brd 10.16.255.255 scope global eth0
       valid_lft forever preferred_lft forever
3: k6t-eth0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1400 qdisc noqueue state UP group default 
    link/ether 3e:4c:d9:14:6f:1f brd ff:ff:ff:ff:ff:ff
    inet 169.254.75.10/32 scope global k6t-eth0
       valid_lft forever preferred_lft forever
    inet6 fe80::3c4c:d9ff:fe14:6f1f/64 scope link 
       valid_lft forever preferred_lft forever
4: tap0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1400 qdisc fq_codel master k6t-eth0 state UP group default qlen 1000
    link/ether fa:5a:68:6c:06:50 brd ff:ff:ff:ff:ff:ff
    inet6 fe80::f85a:68ff:fe6c:650/64 scope link 
       valid_lft forever preferred_lft forever
5: net1: <BROADCAST,NOARP> mtu 1500 qdisc noop state DOWN group default 
    link/ether d6:d6:72:f1:12:5c brd ff:ff:ff:ff:ff:ff
    inet 192.168.2.15/24 brd 192.168.2.255 scope global net1
       valid_lft forever preferred_lft forever
6: k6t-net1: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1400 qdisc noqueue state UP group default 
    link/ether 06:73:79:b3:c0:6e brd ff:ff:ff:ff:ff:ff
    inet 169.254.75.11/32 scope global k6t-net1
       valid_lft forever preferred_lft forever
    inet6 fe80::473:79ff:feb3:c06e/64 scope link 
       valid_lft forever preferred_lft forever
7: tap1: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1400 qdisc fq_codel master k6t-net1 state UP group default qlen 1000
    link/ether a2:7b:a6:7c:5a:81 brd ff:ff:ff:ff:ff:ff
    inet6 fe80::a07b:a6ff:fe7c:5a81/64 scope link 
       valid_lft forever preferred_lft forever
41: eth0-nic@if42: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1400 qdisc noqueue master k6t-eth0 state UP group default 
    link/ether 3e:4c:d9:14:6f:1f brd ff:ff:ff:ff:ff:ff link-netnsid 0
    inet6 fe80::3c4c:d9ff:fe14:6f1f/64 scope link 
       valid_lft forever preferred_lft forever
43: net1-nic@if44: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1400 qdisc noqueue master k6t-net1 state UP group default 
    link/ether 06:73:79:b3:c0:6e brd ff:ff:ff:ff:ff:ff link-netnsid 0
    inet6 fe80::473:79ff:feb3:c06e/64 scope link 
       valid_lft forever preferred_lft forever

检查虚拟机，新增网卡

[fedora@testvmi-nocloud ~]$ ip a
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1000
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
       valid_lft forever preferred_lft forever
    inet6 ::1/128 scope host 
       valid_lft forever preferred_lft forever
2: eth0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1400 qdisc fq_codel state UP group default qlen 1000
    link/ether 00:00:00:3b:e5:7b brd ff:ff:ff:ff:ff:ff
    altname enp1s0
    inet 10.16.0.49/16 brd 10.16.255.255 scope global dynamic noprefixroute eth0
       valid_lft 86312937sec preferred_lft 86312937sec
    inet6 fe80::200:ff:fe3b:e57b/64 scope link 
       valid_lft forever preferred_lft forever
3: eth1: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1400 qdisc fq_codel state UP group default qlen 1000
    link/ether 00:00:00:d6:bb:bd brd ff:ff:ff:ff:ff:ff
    altname enp8s0
    inet 192.168.2.15/24 brd 192.168.2.255 scope global dynamic noprefixroute eth1
       valid_lft 86313539sec preferred_lft 86313539sec
    inet6 fe80::af9d:e259:1171:8b9/64 scope link noprefixroute 
       valid_lft forever preferred_lft forever
       
[fedora@testvmi-nocloud ~]$ ping 192.168.2.1
PING 192.168.2.1 (192.168.2.1) 56(84) bytes of data.
64 bytes from 192.168.2.1: icmp_seq=1 ttl=254 time=2.88 ms
64 bytes from 192.168.2.1: icmp_seq=2 ttl=254 time=1.34 ms

检查 libvirt xml，新增

......
    <interface type='ethernet'>
      <mac address='00:00:00:d6:bb:bd'/>
      <target dev='tap1' managed='no'/>
      <model type='virtio-non-transitional'/>
      <mtu size='1400'/>
      <alias name='ua-eth1'/>
      <rom enabled='no'/>
      <address type='pci' domain='0x0000' bus='0x08' slot='0x00' function='0x0'/>
    </interface>

......

检查 vmi，新增

......
        interfaces:
		......
        - bridge: {}
          name: eth1
    networks:
	......
    - multus:
        networkName: default/net1
      name: eth1
......

feature

热拔目前未实现，待 kubevirt 开发。

junjie xu
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
社区实践 | KubeVirt通过Kube-OVN接入Underlay网络
KubeOVN的博客
08-09 1316
本篇文章转自Kube-OVN社区成员技术博客，介绍了KubeVirt通过Kube-OVN的Underlay网络模式，使虚拟机接入物理网络的实现。
Kube-OVN: 一个非著名K8s CNI 网络插件
KubeOVN的博客
11-05 1854
近日，由 VMware 联合Intel、PingCAP、EMQ、灵雀云等合作伙伴联合主办的大型开源活动——2021智能云边开源峰会（2021 Open Source AceCon）成功落下帷幕。作为开源技术生态的年度盛会，大会邀请了多位来自开源领域的技术领导者及重要贡献者，分享“云原生、边缘计算、人工智能”三大热门技术趋势及洞察。 灵雀云工程师，Kube-OVN maintainer 刘韬在边缘计算分论坛分享了《Kube-OVN: 一个非著名 K8s CNI 网络插件》主题演讲，下面是演讲实录。 大家好
云原生虚拟化的最佳拍档:Kube-OVN + KubeVirt 【附有奖调研】
alauda_andy的博客
04-11 1620
​随着云原生技术从应用侧向数据中心和基础设施下沉，越来越多的企业开始使用 Kubernetes 和 KubeVirt 来运行虚拟化工作负载，实现在统一的控制平面同时管理虚拟机和容器。然而一方面虚拟机的使用场景和习惯都和容器有着显著的差异，另一方面新兴的容器网络并没有专门对虚拟化场景进行设计，功能的完备性和性能都与传统虚拟化网络存在较大差距。网络问题成为了云原生虚拟化的瓶颈所在。 Kube-OVN 由于使用了在传统虚拟化网络中得到广泛使用的 OVN/OVS，在开源后得到了很多 KubeVirt ...
Kube-OVN 使用教程
最新发布
gitblog_00661的博客
08-07 963
Kube-OVN 使用教程 kube-ovn一个基于OVN（Open Virtual Networking）的开源项目，提供虚拟网络解决方案。 - 功能：网络管理、容器网络、虚拟网络等。 - 特点：基于OVN；支持多种网络插件；高度可扩展；易于使用。项目地址:https://gitcode.com/gh_mirrors/ku/kube-ovn 项目介绍 Kube-OVN 是一个连接 SD...
灵雀云Kube-OVN：基于OVN的开源Kubernetes网络实践
weixin_34179762的博客
05-14 644
近日，灵雀云发布了基于OVN的Kubernetes网络组件Kube-OVN，并正式将其在Github上开源。Kube-OVN提供了大量目前Kubernetes不具备的网络功能，并在原有基础上进行增强。通过将OpenStack领域成熟的网络功能平移到Kubernetes，来应对更加复杂的基础环境和应用合规性要求。 目前Kube-OVN项目代码已经在Github 上开源，项目地址为：github.co...
Kube-OVN 0.6.0 发布，支持 IPv6、流量镜像及更多功能
alauda_andy的博客
07-24 211
Kube-OVN 是一个基于 OVN 的 Kubernetes 开源网络系统。 本次更新主要包含了以下内容： 1. 支持流量镜像 在安装 Kube-OVN 时可以开启 mirror 选项，会自动在每个节点创建 mirror0 网卡，该网卡复制了该节点上所有的容器网络流量。可以通过监控 mirror0 网卡来获取该节点所有容器网络流量信息，便于之后审计，流量回放等功能实现。 2. IP...
云原生虚拟化的最佳拍档:Kube-OVN + KubeVirt
KubeOVN的博客
07-22 863
Kube-OVN 由于使用了在传统虚拟化网络中得到广泛使用的 OVN/OVS，在开源后得到了很多 KubeVirt 用户的关注，一部分前沿的 KubeVirt 用户根据自己的使用场景进一步完善了 Kube-OVN 的网络能力。本文系统总结了 Kube-OVN 社区中针对 KubeVirt 优化的功能，可以帮助用户很好的解决云原生虚拟化面临的难题。...
PCIe系列专题之七：PCIe热插拔
存储随笔
10-01 7010
之后，Hot-Plug Service会调用Hot-Plug System Driver去读取slot的状态信息并且侦测到Attention按钮的状态；为了放置意外的发生，PCIe Spec设计了一种"No Surprise"热插拔机制，即，当用户要插拔PCIe设备时，必须先通知系统软件做好准备，然后通过指示灯告知用户热插拔的状态。: 按照Hot-plug System Driver的指示，Hot Plug Controller向需要插拔PCIe设备的插槽(Slot)传送PERST#信号。
USB热拔插事件
热门推荐
dosthing的博客
08-26 2万+
前言 USB（Universal Serial Bus）通用串行总线的缩写，是一个外部总线标准，用于规范主机与外围设备的连接以及通讯，目前使用较多的版本有USB1.1、USB2.0、USB3.0等。USB接口常用在诸如USB串行设备驱动(3G/4G上网卡、蓝牙设备、串口设备)、USB大容量磁盘驱动（U盘、移动硬盘）、USB主机控制器驱动（嵌入式otg，dwc_otg）、USB键盘鼠标等，这一些的...
ax200网卡支持Linux吗,Ubuntu使用Intel AX200网卡
weixin_29579377的博客
05-02 3264
把大象装冰箱只需要三步,网卡驱动同理环境:Windows10(sda)esp in sda1 Ubuntu18.04.3LTS(sdb) esp in sdb1kernel=5.0由于AX200的最低内核版本要求是5.1,并且本人觉得万一以后在有个AX250什么的再更新内核挺麻烦的,直接一步到位更新个目前最新版本下载内核文件在Ubuntu官网上下载内核文件备用,网站经常连不上,也可以直接使用wge...
浅谈Kube-OVN
小男孩儿的博客
09-06 3432
Kube-OVN 是一款 CNCF 旗下的企业级云原生网络编排系统，将 SDN 的能力和云原生结合， 提供丰富的功能，极致的性能以及良好的可运维性。Kube-OVN可提供跨云网络管理、传统网络架构与基础设施的互联互通、边缘集群落地等复杂应用场景的能力支持，解除Kubernetes网络面临的性能和安全监控的掣肘，为基于Kubernetes架构原生设计的系统提供最为成熟的网络底座，提升用户对Kubernetes生态Runtime的稳定性和易用性。
k8s cni 网络组件kube-ovn脚本
09-25
是kube-ovn1.4稳定版本一个能成功安装完成的脚本，release1.4分支上的脚本目前不能安装成功。
kube-ovn项目详细介绍，物超所值
11-07
kube-ovn项目详细介绍，物超所值
KubeVirt使用Kube-OVN
weixin_48711696的博客
01-19 590
安装 kube-ovn controller以及 cni 插件，包括组件 kube-ovn-controller kube-ovn-cni kube-ovn-pinger kube-ovn-monitor。安装 kube-ovn CRD，包括 ips subnet vlans provider-networks vpcs vpc-nat-gateways。在defaultvlan上，创建一个子网，这个子网作用的namespace为mail263，指定子网分配的物理网络地址段，物理网络网关地址。
Kube-OVN子网
任我行的博客
12-04 986
子网是 Kube-OVN 中的一个核心概念和基本使用单元，Kube-OVN 会以子网来组织 IP 和网络配置，每个 Namespace 可以归属于特定的子网， Namespace 下的 Pod 会自动从所属的子网中获取 IP 并共享子网的网络配置（CIDR，网关类型，访问控制，NAT控制等）。在 Kube-OVN 中子网为一个全局的虚拟网络配置，同一个子网的地址可以分布在任意一个节点上。[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-aSnfoZgU-1670161299418
探索 Kubernetes 网络新边界：Kube-OVN
gitblog_00085的博客
03-24 446
探索 Kubernetes 网络新边界：Kube-OVN kube-ovn项目地址:https://gitcode.com/gh_mirrors/kub/kube-ovn 项目简介 是一个针对 Kubernetes 集群的开放源码网络插件，由阿里云的 ALauda 团队开发并维护。它旨在提供一种简单、高性能和可扩展的方式来管理集群内的网络策略，以满足现代云原生应用的需求。 技术分析 设计理念 K...
Kube-OVN组件
Kason_iWiki
05-01 1277
Kube-OVN, a CNCF Sandbox Project, bridges the SDN into Cloud Native. It offers an advanced Container Network Fabric for Enterprises with the most functions, extreme performance and the easiest operation.
kubevirt（四）热插拔卷（hotplug volume）
NUCEMLS的博客
02-04 1583
kubevirt热插拔卷
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值