Intel关NUMA的内存编址

最新推荐文章于 2024-08-21 09:30:59 发布
最新推荐文章于 2024-08-21 09:30:59 发布
阅读量788 收藏 1
点赞数
文章标签： 网络 服务器 c++ 虚拟机 linux
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lingshengxiyou/article/details/127912471
版权
本文详细分析了Intel平台在关闭NUMA时的内存编址策略，重点讨论了Memory Interleaving和Socket Interleaving，并通过测试验证了内存分布的规律。关闭NUMA后，连续物理地址以较小粒度分布在不同socket上，应用程序的内存访问更为均匀，有助于提升性能稳定性。
摘要由CSDN通过智能技术生成

最近在做某国产化平台相关的适配, 不管NUMA的性能和实现方式都和Intel有较大不同, 作为比较对象, 理解Intel的NUMA实现是很有必要的. 虽然从软件角度, 打开NUMA会带来额外的复杂度, 但是从硬件角度, 关闭NUMA其实更复杂, 本文尝试分析关闭NUMA时Intel平台的内存编址.

Memory Interleaving

Interleaving是一种基本的编址方式, 可以将连续的物理内存地址映射到不同的内存模块, 比如[0, 256)映射到模块0, [256, 512)映射到模块1, 物理内存分配一般以4KB或者更大粒度的页为分配单位, 这样即使是单线程的程序也能充分发挥底层内存模块的并发性. Interleaving按照内存的层次一般分为Socket, Channel和Rank等, DIY过电脑的同学可能还记得双通道, 也就是Channel Interleaving, 本文主要关心Socket Interleaving, 也就是关闭NUMA时的内存编址. Interleaving的基本思想见下图:

Intel Socket Interleaving

这里以Intel(R) Xeon(R) CPU E5-2682 v4为例, 基于Broadwell EP架构, 其他Intel的CPU应该大致相同. 测试机器插了2个CPU, 内存Interleaving的信息可以从对应的PCI配置空间拿到, 具体到Broadwell EP, 其PCI设备地址是固定的.

#xxd /sys/bus/pci/devices/0000:ff:0f.4/config
0000000: 8680 fc6f 0000 0000 0100 8008 0000 8000  ...o............
0000010: 0000 0000 0000 0000 0000 0000 0000 0000  ................
0000020: 0000 0000 0000 0000 0000 0000 8680 e06f  ...............o
0000030: 0000 0000 0000 0000 0000 0000 0000 0000  ................
0000040: 1111 1111 1111 1100 0000 0000 0000 0000  ................
0000050: 0000 0000 0000 0000 0000 0000 0000 0000  ................
0000060: c107 0804 0044 1155 c007 0804 0000 0000  .....D.U........
0000070: c007 0804 0000 0000 c007 0804 0000 0000  ................
0000080: c007 0804 0000 0000 c007 0804 0000 0000  ................
0000090: c007 0804 0000 0000 c007 0804 0000 0000  ................
00000a0:
最低0.47元/天 解锁文章
lingshengxiyou
关注
Linux 操作系统原理 — PCIe 总线标准
烟云的计算
04-08 3409
初始化 Bridge 1 的配置空间，并 Bridge1 的 Primary Bus Number 和 Secondary Bus Number 寄存器分别设置成 0 和 1，表明 Bridge1 的上游总线是 Bus0，下游总线是 Bus1。另外，PCIe 协议支持向前兼容的特性，如果设备支持 PCIe 4.0，但计算机主板支持只支持 PCIe 3.0，那么系统就只能以 3.0 的传输速率运行。其中可以看见该设备的 Memory BAR 空间，一段的大小是 1MB，另一段的大小是 256KB。
CPU虚拟化技术及QEMU/KVM虚拟机安装实践
tugouxp的专栏
11-21 5802
计算机可虚拟化的原因是因为计算机是一个离散的系统，由于资源有限，计算机只能描述有限数量的事务，只能计算到某个固定数，然后就会用尽计算机上的所有东西。在离散系统上，让另外一个事务去虚拟化一个已经存在的事物，只不过是复制创造一个和已存在事务完全一样的事件序列。现代物理告诉我们，我们的宇宙是离散和有限的，人们首先发现了自然数，接着是0，然后又发现了自然数的对立面负数，进而宣告整数的发现。后来人们觉得整数还是不够用，就发明了比例，也就是分数，所有之前发现的数在一起构成有理数集合。
NUMA内存知识 学习笔记 Day6
u011730792的专栏
01-21 211
今天除夕夜，NUMA知识看完了，但还没消化，先草率打个卡。 相关概念 不同的 CPU 访问不同地址主存的速度各不相同，我们把采用这种设计的内存叫做非一致性访存（Non-uniform memory access，NUMA）。 外设所需要的内存主要包括外设的工作内存、DMA 区域和用于 IO 映射的内存。 物理内存最重要的三个部分是： 从 640K（0xa0000）到 1M（0xfffff）区间，是被 ISA 设备的 RAM 和 ROM 占据的； 从 1M 开始才是主存（System RAM），同时我们也注
numa
热门推荐
chrysanthemumcao的专栏
07-03 1万+
NUMA与英特尔下一代Xeon处理器学习心得       作为一名工程师，一名做技术的工程师，NUMA也是我的近期工作重点之一。在工作时间，在茶余饭后，也看了些NUMA的资料，学习了英特尔下一代Xeon处理器。这里就是我的一点小结，一点心得，和感兴趣的朋友分享分享。 因时间有限，每次就总结一部分，慢慢道来，欲知详情，下回分晓！   一、概述 从系统架构来说，目前的主流企业服
Intel Performance Counter Monitor (PCM) 开源项目教程
最新发布
gitblog_00392的博客
08-21 490
Intel Performance Counter Monitor (PCM) 开源项目教程 pcmIntel® Performance Counter Monitor (Intel® PCM)项目地址:https://gitcode.com/gh_mirrors/pc/pcm 1. 项目的目录结构及介绍 Intel Performance Counter Monitor (PCM) 是一个用于...
[转] Linux-2.6.32 NUMA架构之内存和调度
weixin_33872660的博客
03-21 393
Linux-2.6.32 NUMA架构之内存和调度   本文将以XLP832通过ICI互连形成的NUMA架构进行分析，主要包括内存管理和调度两方面，参考内核版本2.6.32.9；NUMA架构常见配置选项有：CONFIG_SMP, CONFIG_NUMA, CONFIG_NEED_MULTIPLE_NODES, CONFIG_NODES_SHIFT, CONFIG_SPARSEMEM, CONF...
NUMA CPU MEM
phone1126的专栏
11-08 344
从系统架构来看，目前的商用服务器大体可以分为三类，即对称多处理器结构(SMP：Symmetric Multi-Processor)，非一致存储访问结构(NUMA：Non-Uniform Memory Access)，以及海量并行处理结构(MPP：Massive Parallel Processing)。它们的特征分别描述如下： SMP(Symmetric Multi-Processor) 所谓对称多处理器结构，是指服务器中多个CPU对称工作，无主次或从属关系。各CPU共享相同的物理内存，每个CPU访问.
Intel 服务器 架构 NUMA
weixin_30559481的博客
12-23 383
一、概述 从系统架构来说，目前的主流企业服务器基本可以分为三类：SMP (Symmetric Multi Processing，对称多处理架构)，NUMA (Non-Uniform Memory Access，非一致存储访问架构)，和MPP (Massive Parallel Processing，海量并行处理架构)。三种架构各有特点，本文将重点聊聊NUMA。 为了了解N...
NUMA与英特尔下一代Xeon处理器学习心得（3）
weixin_34075551的博客
12-03 121
前面介绍了NUMA的很牛的架构，那目前系统层面上，软件对NUMA的支持怎么样呢？请见本文：NUMA架构软件支持栈 对于NUMA架构而言，经过了几十年的发展，目前的软件支持栈已经非常完备，从底层的操作系统，到之上的数据库、应用服务器，基本所有主流的产品均以为NUMA提供了充分的支持。 操作系统（Operating System） 目前，Windows Serv...
透过天河一号看超级计算机技术.pdf
10-02
3. **分布式共享内存（DSM）**系统：DSM系统由多个处理节点组成，每个节点都有自己的处理器和内存，节点之间通过高速网络连接，内存资源全局编址但访问速度不一致。代表机型有SGI Origin 2000/3000、Sequent NUMA-Q...
dpdk igbuio基础信息
lingshengxiyou的博客
11-16 341
另外我们从图8还可一看到另外一个信息，那就是访问外设其实可以有两种方式，一种是通过I/O空间用专有的指令进行访问，另外一种便是访问内存空间，而访问内存空间就相对而言容易的多，也随便的多，那么为什么外设会同时拥有两个空间呢？”，答案是“无关”，这些图中的信息事实上在系统启动时，就已经被解析完成了，以文件系统的方式供用户态程序取读取。resource文件内部的特点，前6行为PCI设备的6个BAR，每行共3列，其中第1列为PCI BAR的起始地址，第2列为PCI BAR的终止地址，第3列为PCI BAR的标识。
CPU处理器NUMA架构简介
牧羊人的方向
02-27 4861
在实际工作中，经常遇到服务器是否开启NUMA、NUMA绑定几颗Core、跨NUMA节点访问的性能下降等等话题。那么NUMA作为非一致性内存访问的多处理器架构，在架构上有什么特性、与SMP架构有哪些不同，调优策略等，本文将作简要介绍。
NUMA与英特尔下一代Xeon处理器学习心得（9）
weixin_34319374的博客
01-22 129
新春将至，在回家前再写一篇，续续前文。 libnuma -- NUMA策略的应用程序编程接口 尽管numactl能够用作进程级别的内存控制，但其缺点也很明显：分配策略作用于整个进程，无法指定到线程或者特定内存区域。Libnuma为更加精细的控制提供了API接口。 应用程序只需在代码中引用numa.h头文件, 并在连接时如下连接libnuma的共享库即可方便...
NUMA(Non-Uniform Memory Access)架构的介绍
csdnzzt的博客
03-10 1738
最早的CPU是以下面这种形式访问内存的：在这种架构中，所有的CPU都是通过一条总线来访问内存，我们把这种架构叫做SMP架构（Symmetric Multi-Processor），也就是对称多处理器结构。但是随着CPU多核技术的发展，，因为所有的处理器都通过一条总线连接起来，因此随着处理器的增加，系统总线成为了系统瓶颈，另外，处理器和内存之间的通信延迟也较大。
浅析NUMA体系结构
iongzhidun1的博客
06-02 4614
由于OpenStack Kilo增加很多针对NUMA体系结构的增强功能，所以又重新温习了下NUMA相关的知识，简单做个笔记。    1. NUMA的几个概念（Node，socket，core，thread）    对于socket，core和thread会有不少文章介绍，这里简单说一下，具体参见下图：     一句话总结：socket就是主板上的CPU插槽; Core就是sock
CXL 内存交织（Memory Interleaving）
MangoPapa
09-01 3611
Memory Interleaving，内存交织，是一种内存访问方法，其将一段连续的内存地址映射到不同的内存，通过在不同内存上交叉访问来提高内存访问性能。
Memory Interleaving
菠菜的专栏
11-14 7544
Interleaving Interleaving is an advanced technique used by high-end motherboards/chipsets to improve memory performance. Memory interleaving increases bandwidth by allowing simultaneous access to mor
内存交织（Memory Interleaving）
2401_82550753的博客
04-02 1327
Interleaving在细节方面还有很多的算法可以考虑，这篇文章中介绍了引入interleave 机制的两个主要原因，并且介绍了不同的插法带来的interleave group的变化，进一步得出内存插法的建议，以避免非平衡插法对性能带来的影响。在内存通道的interleaving中会有interleave group的形成，而在一个interleave group中会首先检查同样容量，同样rank数目的最大内存通道数，这个最大通道数的区域会组成一个interleave group。
RAS - Reliability, Availability and Serviceability
atinghaodea的专栏
06-03 4027
ECC内存技术 ChipKill技术 Memory ProteXion / RBS SDDC 和DDDC Memory Scrubbing Memory Mirroring 内存镜像 Memory Sparing 内存备用 LockStep技术 Memory Interleaving 交叉存取技术 Memory Hemisphere Mode UMA和NUMA 预测故障分析
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值