在Kubernetes中使用Hardware offload到DPU的性能優勢

前言

隨著虛擬技術的快速發展,使用Kubernetes虛擬叢集來提供服務的需求日益漸增,單一節點Pod之間的溝通網路頻寬速度則受限於主機CPU性能。

本篇文章介紹如何在Kubernetes上使用DPU結合SR-IOV技術讓Pod可以使用虛擬介面卡來將封包卸載到DPU上,藉此加速Pod網路速度並評測性能。

先決條件

  • Open vSwitch 2.13 或以上版本
  • iproute >= 4.12
  • sriov-device-plugin
  • multus-cni
  • BlueField-2 ConnectX-6 Dx (DPU)
  • ovn-kubernetes 映像:ghcr.io/ovn-org/ovn-kubernetes/ovn-kube-ubuntu-1.0

主機環境

控制平面節點

  • 作業系統版本:Ubuntu 20.04.6 LTS
  • Linux 核心版本:5.4.0-186-generic
  • IP 地址:192.168.40.111/22

Worker-host 節點

  • 作業系統版本:Ubuntu 22.04.2 LTS
  • Linux 核心版本:5.15.0-112-generic
  • IP 地址:192.168.42.201/22
  • CPU: Intel(R) Core(TM) i7-8700 CPU @ 3.20GHz

Worker-dpu 節點

  • 作業系統版本:Ubuntu 22.04.3 LTS
  • Linux 核心版本:5.15.0-1021-bluefield
  • IP 地址:192.168.41.127/22

架構

在此環境中,有兩台電腦:一台是普通電腦,另一台裝有 BlueField-2 CX6 卡。

K8S 叢集

部署一個有三個節點的 K8S 叢集。

  • 控制平面節點:普通電腦
  • Worker-host 節點:Host 節點
  • Worker-dpu 節點:DPU 節點

Master 節點

Master 節點應該具備基本的 K8S 元件,例如 K8S API 伺服器。OVN-Kubernetes 元件應部署如下:

  1. ovnkube-node(full mode):OVN-Kubernetes 節點代理。
    注意:完整模式下不需要設置 OVNKUBE_NODE_MODE 參數。
  2. ovnkube-master:OVN-Kubernetes 主控器,它是與 OVN 的整合點,用來編程 OVN 以滿足 Kubernetes 的網路需求。
  3. ovnkube-db:一個 ovsdb,存儲 OVN (Open Virtual Network) 的北向 (NB) 和南向 (SB) 資料庫。
  4. ovs-node:在節點上運行的 Open vSwitch (OVS) 元件。

Worker-host 節點

  1. ovnkube-node (dpu-host 模式):OVN-Kubernetes 節點代理。
    注意:dpu-host 模式需要設置 OVNKUBE_NODE_MODE 參數為 "dpu-host"。Worker-host 不應安裝 Open vSwitch (OVS),因為封包處理是由 DPU 的 eSwitch 處理的。

Worker-dpu 節點

  1. ovnkube-node (dpu 模式):OVN-Kubernetes 節點代理。
    注意:dpu 模式需要設置 OVNKUBE_NODE_MODE 參數為 "dpu"。
  2. ovn-controller:OVN 節點代理,將來自 OVN South 資料庫的邏輯流轉換為 OVS 中的邏輯流。ovn-controller 被移至 DPU 中運行。

Worker-host SR-IOV 設定

  • 檢查 NIC 支援的 VF 數量:

cat /sys/class/net/enp2s0f0np0/device/sriov_totalvfs

16

  • 創建 VF:

echo '3' > /sys/class/net/enp2s0f0np0/device/sriov_numvfs

  • 驗證 VF 是否創建成功:

sudo ip link show enp2s0f

### 构建任务失败解决方案 当遇到 `Execution failed for task ':app:shrinkReleaseRes'` 错误时,这通常意味着资源压缩过程中出现了问题。此错误可能由多种原因引起,包括但不限于配置不正确、依赖冲突或特定于项目的其他因素。 #### 可能的原因分析 1. **ProGuard 或 R8 配置不当** ProGuard R8 是用于优化混淆代码以及减少 APK 大小的工具。如果这些工具的配置存在问题,可能会导致资源无法正常处理[^1]。 2. **重复资源** 如果项目中有多个模块定义了相同的资源名称,可能导致冲突并引发该错误。检查是否存在重名的 drawable、string 等资源文件[^2]。 3. **第三方库兼容性** 某些第三方库可能当前使用的 Gradle 插件版本或其他库存在兼容性问题,从而影响到资源打包过程中的行为[^3]。 4. **Gradle 缓存问题** 有时旧缓存数据会干扰新编译的结果,尝试清理本地仓库重新同步项目可以帮助排除此类潜在障碍[^4]。 #### 推荐的操作方法 为了有效解决问题,建议按照以下步骤逐一排查: ```bash # 清理项目构建目录 ./gradlew clean # 删除 .gradle 文件夹下的所有内容以清除缓存 rm -rf ~/.gradle/caches/ ``` 调整 `build.gradle` 中的相关设置也是一个重要环节: ```groovy android { ... buildTypes { release { minifyEnabled true // 是否启用代码缩减 shrinkResources true // 是否开启资源压缩 proguardFiles getDefaultProguardFile('proguard-android-optimize.txt'), 'proguard-rules.pro' // 尝试禁用 shrinkResources 来测试是否为资源压缩引起的错误 // shrinkResources false } } } ``` 此外,在 `proguard-rules.pro` 文件内添加必要的保留规则,防止关键类被意外移除: ```text -keep class com.example.yourpackage.** { *; } # 替换为你自己的包路径 -dontwarn androidx.**,com.google.** # 忽略警告信息 ``` 最后,确保所使用的 Android Studio 版本是最新的稳定版,并且已经应用了所有的补丁更新。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值