关于SIMD

遇到太多次了，感觉还是有必要记一下

---

前言

所谓SIMD

一、SIMD是什么？

SIMD（Single Instruction, Multiple Data）
SIMD 是一种并行计算方式，它通过单条指令同时对多个数据进行操作。SIMD 主要用于图形处理、科学计算、音视频处理等需要高效处理大量相似数据的场景。
SIMD 特指一个thread在一个core中ALU可进行向量计算
常见的 SIMD 类型指令集包括 Intel 的 SSE、AVX 和 ARM 的 NEON 等。

二、内存对齐

SIMD（Single Instruction, Multiple Data）运算方式通常要求严格的内存对齐，以确保高效的执行和避免性能问题。

为什么 SIMD 需要内存对齐？

• 数据加载效率：SIMD 指令通常要求数据在内存中的地址是对齐的（例如 16 字节、32 字节对齐），因为处理器的 SIMD 寄存器通常是以这些对齐大小为单位的。
• 避免性能损失：如果数据未对齐，处理器需要额外的加载指令来访问不连续的内存位置，这会导致性能下降。未对齐的数据访问可能会导致分成多个内存读取操作，增加开销。
• 指令失败或崩溃：在某些处理器上，尝试对未对齐的数据进行 SIMD 操作会直接导致指令失败或程序崩溃。例如，某些旧的 SSE 指令在处理未对齐的数据时会触发硬件异常。

对齐的具体要求

SSE（Streaming SIMD Extensions）：要求 16 字节对齐。
AVX（Advanced Vector Extensions）：要求 32 字节对齐。
AVX-512：要求 64 字节对齐。
ARM NEON：通常要求 16 字节对齐。

三、如何确保数据对齐？

可以使用特定的内存分配函数，例如 std::aligned_alloc() 或 posix_memalign()，来分配对齐的内存。

编译器指令：使用编译器提供的指令或关键字，如 alignas（C++11 及以上）、attribute((aligned(16)))（GCC），来确保变量对齐。

对齐加载指令：现代 SIMD 指令集提供了对未对齐数据的特殊加载指令（如 _mm_loadu_ps），这些指令可以加载未对齐的数据，但性能可能低于对齐加载。

---

总结

尽管现代处理器的 SIMD 指令已经能处理未对齐的数据，但性能通常会显著下降。
理想情况下，数据的对齐能使 SIMD 运算以最优性能运行，因为所有数据块都能一次性加载到 SIMD 寄存器中进行并行运算。

SIMD 运算要求严格的内存对齐，以充分利用处理器的并行计算能力，提高执行效率，并避免额外的性能损失或潜在的指令失败。
在 SIMD 优化的程序中，确保数据对齐是关键的性能优化步骤。通过正确的内存分配方式和对齐指令，可以实现高效的 SIMD 运算。