VPP Huge-Pages--大页设置

城外土馒头

已于 2023-12-22 11:30:03 修改

阅读量257

点赞数

分类专栏：计算机网络文章标签：网络协议

于 2023-12-22 11:21:21 首次发布

本文链接：https://blog.csdn.net/wjj970802/article/details/135149043

版权

计算机网络专栏收录该内容

11 篇文章 2 订阅

订阅专栏

大页

VPP运行期间需要大页（hugepages），以管理大容量的内存。在VPP安装过程中，VPP将覆盖现有的大页面设置。默认情况下，VPP将系统上的大页面数设置为1024个2M大页。这个大页数是系统上的，不只由VPP使用。

VPP安装和系统重启过程中应用的大页配置

安装VPP后，将以下配置文件将复制到系统中。设置的大页在VPP安装和系统重启过程中应用，要设置大页，请执行以下命令：

$ cat /etc/sysctl.d/80-vpp.conf
# Number of 2MB hugepages desired
vm.nr_hugepages=1024

# Must be greater than or equal to (2 * vm.nr_hugepages).
vm.max_map_count=3096

# All groups allowed to access hugepages
vm.hugetlb_shm_group=0

# Shared Memory Max must be greater or equal to the total size of hugepages.
# For 2MB pages, TotalHugepageSize = vm.nr_hugepages * 2 * 1024 * 1024
# If the existing kernel.shmmax setting  (cat /sys/proc/kernel/shmmax)
# is greater than the calculated TotalHugepageSize then set this parameter
# to current shmmax value.
kernel.shmmax=2147483648

根据系统的使用方式，可以更新此配置文件以调整系统上保留的大页数。以下是一些可能的设置示例。

对于工作负荷最少的小型VM：

vm.nr_hugepages=512
vm.max_map_count=2048
kernel.shmmax=1073741824

对于大型的，运行多个VM的系统，每个VM都需要设置自己的大页数：

vm.nr_hugepages=32768
vm.max_map_count=66560
kernel.shmmax=68719476736

注意：如果VPP在虚拟机（VM）中运行，则该VM必须具有大页支持。安装VPP后，它将尝试覆盖现有的大页设置。如果VM没有大页支持，则安装将失败，但是该失败可能不会引起注意。重启VM后，在系统启动时，将重新应用“vm.nr_hugepages”，并且将失败，并且VM将中止内核引导，从而锁定VM。为了避免这种情况，请确保VM具有足够的大页支持。

直接在系统中设置大页的方法

设置大页内存、CPU隔离以及iommu：

root@wjjhost:~# vi /etc/default/grub
  1 # If you change this file, run 'update-grub' afterwards to update
  2 # /boot/grub/grub.cfg.
  3 # For full documentation of the options in this file, see:
  4 #   info -f grub -n 'Simple configuration'
  5
  6 GRUB_DEFAULT=0
  7 GRUB_TIMEOUT_STYLE=hidden
  8 GRUB_TIMEOUT=0
  9 GRUB_DISTRIBUTOR=`lsb_release -i -s 2> /dev/null || echo Debian`
 10 GRUB_CMDLINE_LINUX_DEFAULT="default_hugepagesz=1G  hugepagesz=1G hugepages=64 irqaffinity=0,14,28,42 isolcpus=1-13,15-27,29-41,43-55 nohz_full=1-13,15-27,29-41,43-55 rcu_nocbs=1-13,15-27,29-41,43-55 iommu=pt intel_iommu
 11 GRUB_CMDLINE_LINUX=""
 12
root@wjjhost:~# grub-mkconfig -o /boot/grub/grub.cfg
root@wjjhost:~# reboot

至此，大页内存、CPU隔离以及iommu配置成功（核隔离的具体数值需要根据vpp具体部署方案灵活调整）

root@wjjhost:cat /proc/cmdline
BOOT_IMAGE=/vmlinuz-5.15.0-91-generic root=/dev/mapper/ubuntu--vg-lv--0 ro default_hugepagesz=1G hugepagesz=1G hugepages=64 irqaffinity=0,14,28,42 isolcpus=1-13,15-27,29-41,43-55 nohz_full=1-13,15-27,29-41,43-55 rcu_nocbs=1-13,15-27,29-41,43-55 iommu=pt intel_iommu=on
root@wjjhost: