SPDK/NVMe存储技术分析之内存屏障(MB)

最新推荐文章于 2024-10-16 10:21:57 发布

lingshengxiyou

最新推荐文章于 2024-10-16 10:21:57 发布

阅读量422

点赞数 1

文章标签： jvm linux c++ 网络协议 tcp/ip

本文链接：https://blog.csdn.net/lingshengxiyou/article/details/126442118

版权

本文分析了内存屏障在SPDK、NVMeDirect和DPDK中的实现，包括它们如何处理编译器和CPU层面的内存屏障。在x86_64平台上，内存屏障主要通过`volatile`关键字、汇编指令`mfence`、`lfence`和`sfence`来实现。文章探讨了内存屏障在多核系统中的重要性，确保内存数据更新的原子性。

摘要由CSDN通过智能技术生成

在多核(SMP)多线程的情况下，如果不知道CPU乱序执行的话，将会是一场噩梦，因为无论怎么进行代码Review也不可能发现跟内存屏障(MB)相关的Bug。内存屏障分为两类：

跟编译有关的内存屏障: 告诉编译器，不要优化我，俺不需要
跟CPU有关的内存屏障: 告诉CPU, 不要乱序执行，谢谢

1. NVMeDirect中的内存屏障

/* nvmedirect/include/lib_nvmed.h */

38 #define COMPILER_BARRIER() asm volatile("" ::: "memory")

由于NVMeDirect依赖于Linux内核的NVMe驱动(nvme.ko)实现，所以NVMeDirect并不需要实现它自己的与CPU相关的内存屏障。

2. SPDK中的内存屏障

/* src/spdk-17.07.1/include/spdk/barrier.h */

47 /** Compiler memory barrier */
48 #define spdk_compiler_barrier() __asm volatile("" ::: "memory")
49
50 /** Write memory barrier */
51 #define spdk_wmb()              __asm volatile("sfence" ::: "memory")
52
53 /** Full read/write memory barrier */
54 #define spdk_mb()               __asm volatile("mfence" ::: "memory")

在SPDK中，不仅实现了与编译相关的内存屏障，还实现了与CPU有关的内存屏障。但是，在与CPU有关的MB中，读内存屏障(Read memory barrier)并没有实现。

3. DPDK中的内存屏障

在DPDK中，内存屏障的实现要复杂一点，因为支持x86, ARM和PowerPC三种平台。以x86为例，代码实现如下：

与编译相关的MB

/* src/dpdk-17.08/lib/librte_eal/common/include/generic/rte_atomic.h */

132 /**
133  * Compiler barrier.
134  *
135  * Guarantees that operation reordering does not occur at compile time
136  * for operations directly before and after the barrier.
137  */
138 #define rte_compiler_barrier() do {             \
139         asm volatile ("" :

最低0.47元/天解锁文章