weixin_57972634的博客

我们可以指定用于存储和计算的设备，例如CPU或GPU。默认情况下，数据在主内存中创建，然后使用CPU进行计算。深度学习框架要求计算的所有输入数据都在同一设备上，无论是CPU还是GPU。不经意地移动数据可能会显著降低性能。一个典型的错误如下：计算GPU上每个小批量的损失，并在命令行中将其报告给用户（或将其记录在NumPyndarray中）时，将触发全局解释器锁，从而使所有GPU阻塞。最好是为GPU内部的日志分配内存，并且只移动较大的日志。

本文还能解决：torch.cuda.is_available() 输出为False；这两个问题，包括标题里的Torch not compiled with CUDA enabled，实际上是同一个问题：环境中Torch的版本和cuda版本不匹配torch.cuda.device_count()输出为 0；

本章为原书第5章，共分为6节，本篇是5节：文件读写（保存参数和模型）有时我们希望保存训练的模型， 以备将来在各种环境中使用（比如在部署中进行预测）。 此外，当运行一个耗时较长的训练过程时， 最佳的做法是定期保存中间结果， 以确保在服务器电源被不小心断掉时，我们不会损失几天的计算结果。 因此，现在是时候学习如何加载和存储权重向量和整个模型了。

本章为原书（pytorch版）第5章，共分为5节，本篇是3节：自定义层。我们可以通过基本层类设计自定义层。这允许我们定义灵活的新层，其行为与深度学习框架中的任何现有层不同。在自定义层定义完成后，我们就可以在任意环境和网络架构中调用该自定义层。层可以有局部参数，这些参数可以通过内置函数创建。

课程全部代码（pytorch版）已上传到附件本章节为原书第5章，共分为5节，本篇是第2节：参数管理（每层的权重/偏置）。在选择了架构并设置了超参数后，我们就进入了训练阶段。 此时，我们的目标是找到使损失函数最小化的模型参数值。 经过训练后，我们将需要使用这些参数来做出未来的预测。 此外，有时我们希望提取参数，以便在其他环境中复用它们， 将模型保存下来，以便它可以在其他软件中执行， 或者为了获得科学的理解而进行检查。

在本章中，我们将深入探索深度学习计算的关键组件， 即模型构建、参数访问与初始化、设计自定义层和块、将模型读写到磁盘， 以及利用GPU实现显著的加速。 这些知识将使读者从深度学习“基础用户”变为“高级用户”。 虽然本章不介绍任何新的模型或数据集， 但后面的高级模型章节在很大程度上依赖于本章的知识。很多同学反馈道，本章的学习解开了前后章节的很多困惑，对打牢基础非常有帮助