[C++] 空间申请且定制内存对齐

std::aligned_storage

std::aligned_storage的参数定义

• 第一个模板参数是storage的bytes大小
• 第二个模板参数是存储空间对齐的byte大小，且必须是2次幂
• std::aligned_storage创建一个raw 存储空间（没有确定类型），且按照第二个参数对齐；所以要使用的话，需要转化为实际的类型。

#include <type_traits>
// Create 1024B size of storage aligned to 128 bytes
using AlignedWorkspace = std::aligned_storage<1024, 128>::type; 
AlignedWorkspace data;
float* ptr = reinterpret_cast<float*>(&data); 
*ptr = 3.14f;

std::aligned_storage 使用实例

• oneflow工程中，在kernel优化过程中，将一些数据打包成一个pack，提高访存效率。

// 空间大小和空间对齐相同，这符合cuda申请空间的原则，也就是类型大小和对齐是一致的。
// 下面用模板包装了一个空间对齐的pack 类型。
template <typename Type, int pack_size>
struct GetPackType {
  using type = typename std::aligned_storage<pack_size * sizeof(Type),
                                             pack_size * sizeof(Type)>::type;
};
template<typename Type, int pack_size>
using PackType = typename GetPackType<Type, pack_size>::type;
template <typename Type, int pack_size>
union Pack {
  // TODO: add judgement
  // static_assert(sizeof(PackType<Type, pack_size>) == sizeof(Type) *
  // pack_size, "");
  __device__ Pack() {}
  PackType<Type, pack_size> storage; // union保持内存对齐。
  Type element[pack_size];
};

alignas说明符

• 用于使得struct和class中member与特定字节边界对齐。
• 对齐大小必须是2的次幂
• alignas说明符的作用和使用：
  • 根据硬件需要，进行对齐时使用
  • 去避免padding，可以使struct最小化
  • 对齐member到cache行的边界，这个在cpu优化过程中，避免cache行中由于没有对齐导致访存增加的问题。
  • ABI兼容需要。

// 简单实例: 整体上char是根据前面一个属性的类型大小如int,则为4 bytes， 作为对齐大小 4bytes 来进行padding。
struct MyStruct {
  int a; // 4 bytes
  // 12 bytes padding
  alignas(16) float b; // 4 bytes
  char c; // 4 bytes
  int d; // 4 bytes
  // 4 bytes padding
}; // 32 bytes

struct MyStruct1 {
  int a; 
  float b;
  char c; 
  // 3 bytes padding
}; // 12 bytes

struct alignas(sizeof(int) * 4)  MyStruct2 {
  int a; // 4 bytes
  float b; // 4bytes
  char c; // 4 bytes
  int d; // 4 bytes
}; // 16 bytes

struct MyStruct3 {
  int a; // 4 bytes
  // 12 bytes padding
  alignas(16) float b; // 4 bytes
  char c; // 4 bytes
  long d; // 8 bytes
}; // 32 bytes

struct MyStruct4 {
  long a; // 8 bytes 
  float b; // 4 bytes
  char c;  // 1 bytes
  // 3 bytes padding
}; // 16 bytes

struct MyStruct5 {
  int a; // 4 bytes
  // 4 bytes padding
  long b; // 8 bytes
  char c;  // 1 bytes
  // 7 bytes padding
}; // 24 bytes

struct MyStruct6 {
  char a; // 1 bytes
  // 7 bytes padding
  long b; // 8 bytes
  char c;  // 1 bytes
  // 3 bytes padding
  int d; // 4 bytes
}; // 24 bytes

// oneflow中的实例
template <typename Type, int pack_size>
struct alignas(sizeof(Type) * pack_size) Packed {
  __device__ Packed(){}
  union {
    Type elem[pack_size];
  };
};