类型体系与基本数据类型（第三节）

最新推荐文章于 2024-11-07 15:40:17 发布

Fuxi-

最新推荐文章于 2024-11-07 15:40:17 发布

阅读量634

点赞数 47

文章标签： c++ 算法人工智能开发语言深度学习

本文链接：https://blog.csdn.net/cylddrmm123/article/details/134468255

版权

文章探讨了深度学习框架中标量的重要性，包括其在损失函数、梯度计算、目标标签和简化计算图中的角色。MetaNN中的类模板Scalar提供了通用的标量表示和针对CPU/GPU的特化版本，以适应不同计算环境。

摘要由CSDN通过智能技术生成

前言

一个深度学习框架的初步实现为例，讨论如何在一个相对较大的项目中深入应用元编程，为系统优化提供更多的可能。

以下内容结合书中原文阅读最佳！！！

一、标量

在深度学习框架中，标量（scalar）是指只有一个数值的数据，它在框架中的地位确实相对特殊。这是因为深度学习模型通常处理的是大规模的数据集，其中包含了许多张量（tensors），而张量是标量的扩展形式。

标量在深度学习框架中的特殊地位有以下几个原因：

1. 表示损失或成本函数：在深度学习中，我们通常使用损失函数或成本函数来衡量模型预测与实际结果之间的差异。这些函数通常计算一个标量值，它表示了模型的性能指标，比如交叉熵损失、均方误差等。标量的特点使得我们可以方便地将这些函数的结果用作优化算法的目标函数，进一步优化模型参数。

2. 提供反向传播的梯度：深度学习中的优化算法通常使用梯度下降法来更新模型参数。反向传播算法用于计算损失函数对于模型中各个参数的梯度，从而确定优化的方向。由于标量只有一个值，相对于向量或矩阵来说，它的梯度计算比较简单和高效。

3. 监督学习中的目标标签：在监督学习任务中，训练样本通常包括输入数据和对应的目标标签。目标标签通常是一个标量，如分类任务中的类别索引、回归任务中的实际值等。标量的便利性在于可以直接与模型的预测结果进行对比，从而计算出损失函数。

4. 简化计算图：在深度学习中，通常使用计算图（computational graph）来描述模型的运算过程。计算图中的节点表示运算操作，边表示数据流向。标量的特点使得计算图变得更简单和清晰，因为它减少了在不同形状的张量之间执行操作的复杂性。

总结来说，标量在深度学习框架中的特殊地位可以归结为它在表示损失函数、计算梯度、定义目标标签和简化计算图等方面的方便性。这些特点使得标量在深度学习模型的训练和优化过程中起到了重要的作用。

1.1 类模板的声明

MetaNN为标量引入了专门的类模板，示例如下

template <typename, TElem, typename TDevice = DeviceTags::CPU>

struct Scalar;

template <typename TElem, typename TDevice>
constexpr bool IsScalar<Scalar<TElem, TDevice>> = true;

声明了一个类模板 Scalar，它有两个模板参数：typename TElem 和 typename TDevice。这个结构体的作用是表示标量数据。TElem 表示标量的类型，TDevice 表示标量所在的设备（默认为 CPU）。这样设计的好处是可以方便地适配不同类型和设备的标量数据。

接下来，constexpr bool IsScalar<Scalar<TElem, TDevice>> = true; 是一个模板特化，用于判断一个给定类型是否为 Scalar 类型的实例。使用 IsScalar 模板变量可以在编译期确定一个类型是否是 Scalar 类型，如果是，则该模板变量的值为 true，否则为 false。

总结来说，这段代码通过引入类模板 Scalar，为标量数据引入了一个统一的表示方式。这样可以更灵活地处理不同类型和设备上的标量数据，并通过 IsScalar 模板特化来判断一个给定类型是否为 Scalar 类型的实例。这种设计模式能够提高代码的可扩展性和复用性。

1.2 基于CPU的特化版本

Scalar的CPU特化版本

template <typename TElem, typename TDevice = DeviceTags::CPU>
class Scalar
{
public:
    using ElementType = TElem;
    using DeviceType = TDevice;

public:
    Scalar(ElementType elem = ElementType())
            : m_elem(elem) {}

    auto& Value() { return m_elem; }

    auto Value() const { return m_elem; }

    // 求值相关接口
    bool operator == (const Scalar& val) const;

    template <typename TOtherType>
    bool operator == (const TOtherType&) const;

    template <typename TData>
    bool operator!= (const TData& val) const;

    auto EvalRegister() const;

private:
    ElementType m_elem;
};

这段代码实现了一个名为 Scalar 的类模板，用于表示标量数据。

代码的详细解释：

1. 类模板定义：Scalar 是一个类模板，其中包括两个模板参数：typename TElem 和 typename TDevice。TElem 表示标量的数据类型，TDevice 表示标量所在的设备，默认为 CPU。

2. 类型别名：在类模板中定义了两个类型别名，用于方便使用 Scalar 类的成员类型。ElementType 用于表示标量的数据类型，DeviceType 用于表示标量所在的设备。

3. 构造函数：Scalar 类具有一个构造函数，它可以用于初始化 Scalar 对象。构造函数采用了一个默认参数 elem，用于指定初始的标量值，默认为 ElementType()。

4. Value() 成员函数：Value() 函数是一个重载函数，用于获取标量值。它包括了一个非常量版本 auto& Value() { return m_elem; } 和一个常量版本 auto Value() const { return m_elem; }。

5. 比较操作符：Scalar 类重载了相等和不相等操作符。具体包括 operator==() 和 operator!=() 的重载，允许对 Scalar 对象进行比较操作。

6. EvalRegister() 函数：EvalRegister() 函数是一个成员函数，用于将 Scalar 对象注册到计算图中进行求值。

实现了以下功能：

1. 提供了一个通用的标量数据表示方式，可以用不同的数据类型和设备类型来实例化 Scalar 类。这使得该类模板在各种上下文中都可以使用并保持可扩展性。

2. 提供了获取标量值的接口，使得可以方便地获取标量对象的值，无论是作为左值还是右值使用。

3. 支持标量对象的比较操作，包括相等和不相等。这允许对 Scalar 对象进行逻辑条件判断和比较操作。