oracle 老白,老白学编程 - Netdata学习 - numa

Numa 介绍

NUMA,即Non-Uniform Memory Access Architecture，非统一内存访问架构。

背景

传统的SMP中， 所有处理器共享系统总线，当cpu数目增大时， 系统总现竞争就相应增加，会成为系统的瓶颈，所以SMP系统的CPU数目一般只有数十个。

Numa物理内存管理

有两种类型计算机，分别以不同方式管理内存。

UMA(一致内存访问，unifurm memory access)将内存以连续方式组织起来(可能会有小缺口)。SMP系统中的每个cpu访问的内存区都有一样的。

NUMA(非一致内存访问，non-uniform memory access)是多处理器计算机，各个cpu都有本地的内存，支持快速的访问；各个处理器通过总线连接，用以支持其他cpu本地内存的访问，相比本地内存访问较慢。

节点

pg_data_t 用于表示节点的基本元素。

zone

每个节点的内存被分为多个块，称做zone。

ZONE_DMA, DMA内存域

ZONE_NORMAL , 可以直接映射到内核的普通内存域。

ZONE_HIGDMEM , 超出内核段的物理地址。

调度

在每个任务创建时都会赋予一个HOME结点(所谓HOME结点，就是该任务获得最初内存分配的结点)，它是当时创建该任务时全系统负载最轻的结点，由于目前Linux中不支持任务的内存从一个结点迁移到另一个结点，因此在该任务的生命期内HOME结点保持不变。

一个任务最初的负载平衡工作(也就是选该任务的HOME结点)缺省情况下是由exec()系统调用完成的，也可以由fork()系统调用完成。在任务结构中的node_policy域决定了最初的负载平衡选择方式。

linux kernel 3.8支持page在numa node上迁移。3.8前，调度器对进程page 分配是无感知的，迁移进程是基于对进程cache hotness来预估的，因此在3.8前，若想获得尽可能好的性能，应使用taskset, cpuset等工具将进程pin到特定的核上(c++框架seastar正是这种策略避免迁移的同时也实现了share-nothing)；

policy

memory policy指的是在NUMA系统下的内存分配到哪个node上的问题。一种memory policy由一个mode, 可选的mode flags，和可选的nodes组成。分配针对的对象可以是整个系统，可以是某个进程，可以是进程的某段内存区域

系统默认级别

将使用local allocations

任务/进程级别

如果没有被设置，回退到默认；如果被设置，可由fork, exec, clone继承。对于进程设定memory policy之前分配的任何pages在设定之后保持原样

VMA级别 未设定时，默认取基于进程的policy； 主要作用于annoymous mapping(stack,heap) 可在共享虚拟页面的任务上共享，比如线程 exec调用时不继承它，因为exec会丢弃父进程页面，重新创建 如果任务试图在此VMA的子块内再次安装VMA policy，内核会将它分裂成多个VMA 默认情况下，在安装此policy之前的page保持原样，除非mbind调用导致迁移

shared策略

作用于memory objects，与VMA策略类似，也有不同之处

分配模式

NODE LOCAL (系统默认)

在当前代码执行的地方分配内存

Interleave

第一页分配在node 0,下一页在node 1，再下一页node 0，如此轮换。适合被多个线程访问的数据

进程的Numa分配可通过/proc//numa_maps查看，单个node分配查看/sys/devices/system/node/node/meminfo。

进程会从父进程那继承分配策略，即默认的node local，且Linux 调度器会尽可能地在负载均衡的同时保持进程的cache不失效，也即尽可能让进程在靠近分配内存的node的CPU上运行。但，万一负载非常不均，调度器是会将进程迁移到其它numa node上的，这时的内存访问就变成了remote acess，性能会下降。kernel 3.8+支持将数据迁移到running node上。

参考