深度学习计算

最新推荐文章于 2024-08-12 18:49:54 发布

饮尽夏日

最新推荐文章于 2024-08-12 18:49:54 发布

阅读量43

点赞数

分类专栏：深度学习文章标签：深度学习人工智能

本文链接：https://blog.csdn.net/CrazySummerdrink/article/details/134125995

版权

深度学习专栏收录该内容

15 篇文章 0 订阅

订阅专栏

5.1

块（block）可以描述单个层、由多个层组成的组件或整个模型本身。使用块进行抽象的一个好处是可以将一些块组合成更大的组件，这一过程通常是递归的。
从编程的角度来看，块由类（class）表示。它的任何子类都必须定义一个将其输入转换为输出的前向传播函数，并且必须存储任何必需的参数。注意，有些块不需要任何参数。最后，为了计算梯度，块必须具有反向传播函数。
nn.Sequential定义了一种特殊的Module，即在PyTorch中表示一个块的类，它维护了一个由Module组成的有序列表。

自定义块
每个块必须提供的基本功能：

将输入数据作为其前向传播函数的参数。
通过前向传播函数来生成输出。请注意，输出的形状可能与输入的形状不同。
计算其输出关于输入的梯度，可通过其反向传播函数进行访问。通常这是自动发生的。
存储和访问前向传播计算所需的参数。
根据需要初始化模型参数。

顺序块

为了构建我们自己的简化的MySequential，我们只需要定义两个关键函数：
1. 一种将块逐个追加到列表中的函数；
2. 一种前向传播函数，用于将输入按追加块的顺序传递给块组成的“链条”。
_modules的主要优点是：在模块的参数初始化过程中，系统知道在_modules字典中查找需要初始化参数的子块。
当MySequential的前向传播函数被调用时，每个添加的块都按照它们被添加的顺序执行。
Sequential类使模型构造变得简单，允许我们组合新的架构，而不必定义自己的类。

小结

块负责大量的内部处理，包括参数初始化和反向传播。
层和块的顺序连接由Sequential块处理。

5.2

在选择了架构并设置了超参数后，我们就进入了训练阶段。此时，我们的目标是找到使损失函数最小化的模型参数值。

访问参数，用于调试、诊断和可视化；
参数初始化；
在不同模型组件间共享参数。

参数访问：

当通过Sequential类定义模型时，我们可以通过索引来访问模型的任意层。
参数是复合的对象，包含值、梯度和额外信息。

参数初始化

默认情况下，PyTorch会根据一个范围均匀地初始化权重和偏置矩阵，这个范围是根据输入和输出维度计算出的。 PyTorch的nn.init模块提供了多种预置初始化方法。
我们还可以将所有参数初始化为给定的常数，比如初始化为1。
我们还可以对某些块应用不同的初始化方法。
还可以自定义初始化方法。
注意，我们始终可以直接设置参数。

参数绑定

我们可以定义一个稠密层，然后使用它的参数来设置另一个层的参数。

5.3

延后初始化

我们在编写代码时无须知道维度是什么就可以设置参数，这种能力可以大大简化定义和修改模型的任务。
识别出第一层的形状后，框架处理第二层，依此类推，直到所有形状都已知为止。注意，在这种情况下，只有第一层需要延迟初始化，但是框架仍是按顺序初始化的。等到知道了所有的参数形状，框架就可以初始化参数。
延后初始化使框架能够自动推断参数形状，使修改模型架构变得容易，避免了一些常见的错误。我们可以通过模型传递数据，使框架最终初始化参数。

5.4

有时我们会遇到或要自己发明一个现在在深度学习框架中还不存在的层。在这些情况下，必须构建自定义层。
构造一个没有任何参数的自定义层。要构建它，我们只需继承基础层类并实现前向传播功能。可以将层作为组件合并到更复杂的模型中。
我们可以使用内置函数来创建参数，这些函数提供一些基本的管理功能。比如管理访问、初始化、共享、保存和加载模型参数。这样做的好处之一是：我们不需要为每个自定义层编写自定义的序列化程序。
还可以使用自定义层构建模型，就像使用内置的全连接层一样使用自定义层。

5.5

对于单个张量，我们可以直接调用load和save函数分别读写它们。这两个函数都要求我们提供一个名称，save要求将要保存的变量作为输入。
我们甚至可以写入或读取从字符串映射到张量的字典。当我们要读取或写入模型中的所有权重时，这很方便。
深度学习框架提供了内置函数来保存和加载整个网络。需要注意的一个重要细节是，这将保存模型的参数而不是保存整个模型。
保存架构必须在代码中完成，而不是在参数中完成。

5.6

当在带有GPU的服务器上训练神经网络时，我们通常希望模型的参数在GPU上。
我们可以指定用于存储和计算的设备，如CPU和GPU。默认情况下，张量是在内存中创建的，然后使用CPU计算它。
在PyTorch中，CPU和GPU可以用torch.device('cpu') 和torch.device('cuda')表示。应该注意的是，cpu设备意味着所有物理CPU和内存，这意味着PyTorch的计算将尝试使用所有CPU核心。然而，gpu设备只代表一个卡和相应的显存。如果有多个GPU，我们使用torch.device(f'cuda:{i}') 来表示第i
块GPU（i从0开始）。另外，cuda:0和cuda是等价的。
我们可以查询张量所在的设备。默认情况下，张量是在CPU上创建的。需要注意的是，无论何时我们要对多个项进行操作，它们都必须在同一个设备上。否则框架将不知道在哪里存储结果，甚至不知道在哪里执行计算。
假设变量Z已经存在于第二个GPU上。如果我们还是调用Z.cuda(1)会发生什么？它将返回Z，而不会复制并分配新内存。
根据经验，多个小操作比一个大操作糟糕得多。此外，一次执行几个操作比代码中散布的许多单个操作要好得多。如果一个设备必须等待另一个设备才能执行其他操作，那么这样的操作可能会阻塞。
当我们打印张量或将张量转换为NumPy格式时，如果数据不在内存中，框架会首先将其复制到内存中，这会导致额外的传输开销。更糟糕的是，它现在受制于全局解释器锁，使得一切都得等待Python完成。
当我们打印张量或将张量转换为NumPy格式时，如果数据不在内存中，框架会首先将其复制到内存中，这会导致额外的传输开销。更糟糕的是，它现在受制于全局解释器锁，使得一切都得等待Python完成。
当输入为GPU上的张量时，模型将在同一GPU上计算结果。

小结

当输入为GPU上的张量时，模型将在同一GPU上计算结果。
深度学习框架要求计算的所有输入数据都在同一设备上，无论是CPU还是GPU。
不经意地移动数据可能会显著降低性能。一个典型的错误如下：计算GPU上每个小批量的损失，并在命令行中将其报告给用户（或将其记录在NumPy ndarray中）时，将触发全局解释器锁，从而使所有GPU阻塞。最好是为GPU内部的日志分配内存，并且只移动较大的日志。