cutlass之基础类型

Coord

Coord是一个基础数据类型，在cutlass用的很多，有必要掌握清楚，该类型主要使用场景如下：

1. 顾名思义就是坐标保存。
2. using stride=coord<2>使用方式, 保存一个tensor不同维度之间的步长，这样讲不太好理解步长，其实就是leading dimension，这里举两个例子：

• 比如一个数据大小是[N,C,H,W]，那么就有3个步长，分别对应[ W, HW, CHW], 至于为啥是这个顺序我也不知道，估计是约定俗成的。理解步长其实就是在内存中，N0距离N1的长度是CH*W。
• 再举一个例子，比如一个矩阵是[H,W], 假如是按照行优先存储的，那么stride就是W, 说人话就是在实际内存中，原始数据坐标[0,0]和[1,0]在内存中的距离是W。

template <int Rank_, typename Index_ = int, typename LongIndex_ = int64_t >
struct Coord 
{
  // 一般要把模板中的形参类型转为本地使用(如果继续往下传播则不用，后续有其他例子可以参考)，这个要养成良好编程习惯，形参尾部加下划线
  static int const kRank = Rank_; //常量的话加k
  using Index = Index_; //类型的话使用using
  using LongIndex = LongIndex_;
//成员变量
Index idx[kRank]; // 作为stride这里如果是nchw的coord, 那么idx[3]={w,hw,chw}
// 成员函数，都比较简单就不此详述
}
//此外，cutlass的命名空间中提供了几个make_coord的函数

layout

cutlass里面的tensor layout有下面几种：

不是很明白为啥RowMajor是class, 而其他类型是struct？真是让我强迫症犯了。

RowMajor & ColumnMajor

矩阵的layout, 其实就是把coord包装一下，主要看看两者的区别, 其实layout中主要就是包含上面说的一个stride, 也确实，一旦固定是行优先还是列优先后，只要定了stride后就固定了格式。

  // RowMajor 
  LongIndex capacity(MatrixCoord const &extent) const {
    return LongIndex(extent.row()) * LongIndex(stride_[0]);
  }
  // ColumnMajor
  LongIndex capacity(MatrixCoord const &extent) const {
    return LongIndex(extent.column()) * LongIndex(stride_[0]);
  }