（CUDA）GELU为例，通过向量化访存的方式进行优化

访存密集型（memory-bound）算子的特点是：

1.算子的性能主要受限于内存带宽，而不是计算能力。
2.算子的计算量相对较小，但需要频繁访问内存。
3.算子的计算过程中，处理器的时间主要花费在等待数据从内存加载或写回内存上。

针对这类算子，除了用共享内存进行优化，还有一种优化方式就是：利用更大的内存对齐数来实现向量化访存，从而提高显存访问效率和计算性能。

以GELU在CUDA中的优化为例，可参考这篇文章：

CUDA：GELU算子的实现（FP16）-CSDN博客