《昇思25天学习打卡营第3天|03张量Tensor》

说在开始

学习下mindspore中对tensor的处理逻辑。

Tensor属性

张量的属性包括形状、数据类型、转置张量、单个元素大小、占用字节数量、维数、元素个数和每一维步长。

形状（shape）：Tensor的shape，是一个tuple。

数据类型（dtype）：Tensor的dtype，是MindSpore的一个数据类型。

单个元素大小（itemsize）： Tensor中每一个元素占用字节数，是一个整数。

占用字节数量（nbytes）： Tensor占用的总字节数，是一个整数。

维数（ndim）： Tensor的秩，也就是len(tensor.shape)，是一个整数。

元素个数（size）： Tensor中所有元素的个数，是一个整数。

每一维步长（strides）： Tensor每一维所需要的字节数，是一个tuple。

接下来这个例子很有趣：

stride的结果很奇怪，为什么是(8, 4)呢，理论上应该是(2, 1)才对，通过查看了解到：
PyTorch：stride() 返回值以元素为单位。
NumPy 和 MindSpore：strides 属性返回值以字节为单位。
这个的确是比较特殊的。但是在看ascend的使用方法上，内部使用的stride其实是和torch对齐的，应该只是在最上层有一些包装，是和numpy对齐了。

张量索引

这部分的逻辑主要涉及index和index_put算子，这里的实现逻辑实现起来是相对复杂的，并不像数学运算的算子那么容易。

张量运算

这里的处理逻辑能理解，特殊的是像concat和stack算子，在之前的学习中，给我带来了比较大的压力。
看下面两个例子：

和numpy转换

分别使用asnumpy和from_numpy实现目的。

稀疏张量

实际的使用中接触较少，但是记得在搜索场景的模型中，是有用过稀疏tensor的。这部分在tensor flow中有介绍过的， 不过在大模型领域中介绍的较少。

打卡

最后还要记录打卡：

整体看，和pytorch还是比较接近的，不过部分逻辑不一致会和numpy比较接近。接下来要学习训练框架的内容了。