【自制C++深度学习推理框架】Tensor模板类的设计思路

Tensor模板类的设计思路

为什么要把Armadillo线性代数库arma::fcube封装成Tensor模板类？

arma::fcube是Armadillo线性代数库中的一种数据类型，它是一个三维的float类型张量。Armadillo库是一个C++科学计算库，提供了高效的线性代数和矩阵运算。它支持常用矩阵操作、线性系统求解、特征值求解等功能，并且具有简单易用、高效快速、内存占用少等特点。

将arma::fcube封装成Tensor可以使其更方便地在深度学习等领域中使用，提供了更加直观和易用的接口，同时与其他深度学习框架(如TensorFlow、PyTorch等)进行对接时也比较方便。

除了Armadillo库，还有一些其他的常用的线性代数C++库，比如：

• Eigen：是一个高效的C++线性代数库，支持大部分的矩阵和数组运算，而且提供了矩阵、向量的基本运算方法。
• LAPACK：是线性代数算法包，为Fortran77编写，并通过C语言接口进行调用，是一个解决线性代数问题的软件包。
• BLAS：是基础线性代数子程序库，以Fortran77编写，提供了高效的基本矩阵和矢量运算。很多其他的线性代数库都是基于BLAS实现的。

这些线性代数库都是面向高性能计算而设计的，提供了高效、快速、稳定的数字计算模块，可以在科学计算、图像处理、物理模拟等领域中发挥重要作用。

Tensor定义了哪些接口？实现了哪些功能？

Tensor是一个模板类，支持float类型的数据。
Tensor类支持创建张量、访问和修改张量元素，以及一些查询张量属性的功能。
其中还实现了对Tensor对象的复制构造函数、移动构造函数、赋值运算符和移动赋值运算符，并在内部使用了Armadillo线性代数库来存储和操作数据。
它具有以下接口和功能：

构造函数

• explicit Tensor() = default; // 默认构造函数
• explicit Tensor(uint32_t channels, uint32_t rows, uint32_t cols); // 创建张量并指定通道数、行数和列数
• explicit Tensor(const std::vector<uint32_t>& shapes); // 根据形状(shape)创建张量
• Tensor(const Tensor& tensor); // 复制构造函数
• Tensor(Tensor&& tensor) noexcept; // 移动构造函数

赋值运算符

• Tensor& operator=(Tensor&& tensor) noexcept; // 移动赋值运算符
• Tensor& operator=(const Tensor& tensor); // 赋值运算符

访问张量维度属性接口

• uint32_t rows() const; // 返回张量的行数
• uint32_t cols() const; // 返回张量的列数
• uint32_t channels() const; // 返回张量的通道数
• uint32_t size() const; // 返回张量中元素的数量
• bool empty() const; // 返回张量是否为空
• std::vector<uint32_t> shapes() const; // 返回张量尺寸大小
• const std::vector<uint32_t>& raw_shapes() const; // 返回张量实际尺寸大小

访问张量元素接口

• float index(uint32_t offset) const; // 返回张量中offset位置的元素
• float& index(uint32_t offset); // 返回张量中offset位置的元素(可写)
• arma::fmat& slice(uint32_t channel); // 返回张量第channel通道中的数据
• const arma::fmat& slice(uint32_t channel) const; // 返回张量第channel通道中的数据
• float at(uint32_t channel, uint32_t row, uint32_t col) const; // 返回特定位置的元素

访问张量接口

• arma::fcube& data(); // 返回张量中的数据
• const arma::fcube& data() const; // 返回张量中的数据
• void Show(); // 输出张量

修改张量接口

• void set_data(const arma::fcube& data); // 设置张量中的具体数据
• void Ones(); // 设置张量全为1
• void Rand(); // 随机生成张量（服从标准正太分布，即以0为均值、以1为标准差的正态分布）
• void Padding(const std::vector<uint32_t> &pads, float padding_value); // 边界填充
• void Fill(float value); // 用标量值填充
• void Fill(const std::vector &values); // 用vector填充
• void ReRawshape(const std::vector<uint32_t>& shapes); // 列优先reshape
• void ReRawView(const std::vector<uint32_t>& shapes); // 行优先reshape
• void Transform(const std::function<float(float)>& filter); // 对张量中的元素进行过滤
• void Flatten(); // 展平张量

为什么这里有两种reshape，因为Armadillo的张量是列优先的，而pytorch实现的reshape是行优先的，
所以我们用一个接口保留列优先的reshape，定义另一个接口来实现行优先的reshape，兼容并对接pytorch。

为什么要定义一个CSV文件数据读取类？

由于CSV文件是一种常见且常用的数据格式，因此这个类方便于数据转换，数据读取。
CSVDataLoader类主要作用是提供一种便捷的方式来从CSV文件读取数据并转换成fmat矩阵类型，
在这个CSV文件数据读取类中定义了静态方法LoadData和GetMatrixSize来从CSV文件中加载数据和获取CSV文件的尺寸大小。

• 其中，LoadData方法用于从CSV文件中加载数据并返回一个Armadillo库中的fmat矩阵，该方法的参数包括需要读取的CSV文件路径和分隔符。
• 而GetMatrixSize方法用于获取CSV文件的尺寸大小，该方法用于在LoadData方法中初始化返回的fmat矩阵，同时该方法也传入CSV文件路径和分隔符两个参数。

阅读的代码

• include
  • data
    • tensor.hpp
    • load_data.hpp
• source
  • data
    • tensor.cpp
    • load_data.cpp