peacefairy的博客

pytorch保存和加载模型简介1、state_dict是什么？2、在预测过程中保存和加载模型2.1仅保存模型参数（推荐存储方式）2.2 保存整个模型（不推荐的）3、保存和加载常规检查点(针对测试和恢复训练)保存加载4、在一个文件中保存多个模型5、使用一个不同模型的参数来预训练模型6、跨设备保存和加载模型6.1 保存在GPU上，在CPU上加载6.2保存在 GPU 上，加载在 GPU 上6.3保存在CPU上，加载到GPU上6.4保存torch.nn.DataParallel模型简介pytorch与保存、加

pytorch - 学习的先决条件和教学大纲python的编程经验深度学习的基础知识ps: 建议掌握上述的先验知识。知识结构pytorch-相关介绍（python深度神经网络包）PyTorch 既是一个深度学习框架也是一个科学计算包 。科学计算方面主要是PyTorch张量库和相关张量运算的结果。tensor(张量) 是一个n 维数组或者一个n-D数组python最流行的一个科学计算包是numpy,numpy-n维数组的转换包。pytorch 是一个张量库 --这

PyTorch中的批处理规范化在本集中，我们将看到如何向PyTorch CNN 添加批处理规范化。什么是批处理规范化为了理解批量归一化，我们需要先了解什么是一般的数据归一化，我们在数据集归一化的章节中了解了这个概念。当我们对一个数据集进行归一化时，我们是在对将要传递给网络的输入数据进行归一化，而当我们在网络中加入批量归一化时，我们是在数据通过一层或多层后再次进行归一化。可能想到的一个问题：如果输入已经标准化，为什么还要再次标准化？随着数据开始通过层移动，随着层转换的执行，值将开始移动。标准化图层

PyTorch Sequential Models - 简化神经网络这一集中，我们将学习如何使用PyTorch的Sequential类来构建神经网络。PyTorch Sequential Models通过 Sequential 类，我们可以即时构建 PyTorch 神经网络，而无需构建一个显式类。这使得快速构建网络变得更加容易，并允许我们跳过实现forward()方法的步骤。当我们使用Sequential类构建 PyTorch 网络时，我们通过sequential定义我们的网络架构来隐式地构建 for

PyTorch DataLoader 源代码 - 调试阶段在本集中，我们将继续上集数据标准化的地方。只是这一次，我们将要调试代码，而不是编写代码，尤其是要调试PyTorch源代码，以查看规范化数据集时到底发生了什么。调试PyTorch源代码的简短程序在我们开始调试之前，我们只想给我们快速概述一下我们编写的程序，这将使我们能够逐步看到数据集的归一化，并看到它在hood和PyTorch下面到底是如何完成的。import torchimport torchvisionimport torchvisi

PyTorch数据集归一化- torchvision.transforms.Normalize()在本集中，我们将学习如何规范化数据集。我们将看到如何在代码中执行数据集归一化，还将看到归一化如何影响神经网络训练过程。数据归一化数据归一化的概念是一个通用概念，指的是将数据集的原始值转换为新值的行为。新值通常是相对于数据集本身进行编码的，并以某种方式进行缩放。特征缩放出于这个原因，有时数据归一化的另一个名称是特征缩放。这个术语指的是，在对数据进行归一化时，我们经常会将给定数据集的不同特征转化为相近的

在 GPU 上运行 PyTorch 代码 - 神经网络编程指南在本集中，我们将学习如何使用GPU与PyTorch。我们将看到如何使用GPU的一般方法，我们将看到如何应用这些一般技术来训练我们的神经网络。使用GPU进行深度学习如果你还没有看过关于为什么深度学习和神经网络使用 GPU 的那一集，一定要把那一集和这一集一起回顾一下，以获得对这些概念的最佳理解。现在，我们将用一个PyTorch GPU的例子来打基础。PyTorch GPU 例子PyTorch 允许我们在程序内部进行计算时，将数据无缝地

PyTorch DataLoader num_workers Test - 加快速度欢迎来到本期神经网络编程系列。在本集中，我们将看到如何利用PyTorch DataLoader类的多进程功能来加快神经网络训练过程。加快训练进程为了加快训练过程，我们将利用DataLoader类的num_workers可选属性。num_workers属性告诉DataLoader实例要使用多少个子进程进行数据加载。默认情况下，num_workers值被设置为0，0值代表告诉加载器在主进程内部加载数据。这意味着训练进

CNN训练循环重构欢迎来到这个神经网络编程系列。在这一节中，我们将看到如何在保持训练循环和结果井井有条的同时轻松地对大量超参数值进行实验。整理训练循环并提取类当我们结束了前几节的训练循环后，我们建立了很多功能，使我们可以尝试许多不同的参数和值，并且还在训练循环中进行了必要的调用，并且使结果在TensorBoard展示。所有这些工作都是有用的，但是我们的训练循环现在非常的繁琐冗余。在本节中，我们将清理训练循环并通过使用上节建立RunBuilder类和建立一个新的名为RunManager的类来为进一步

Training Loop Run Builder-神经网络实验欢迎来到这个神经网络编程系列。在此小节中，我们将编写一个RunBuilder类，该类将定义我们运行的参数集。使用RunBuilder课程本节以及本系列最后几节的目的是使自己处于能够有效地尝试我们构建的训练过程的位置。因此，我们将扩展超参数实验章节中涉及的内容 。我们将更能清楚的理解超参数试验的原理。我们将建立一个名为RunBuilder的类。但是，在我们看如何构建类之前。让我们看看它将允许我们做什么。我们导入以下资源。from co

超参数调整和实验欢迎来到这个神经网络编程系列。在本集中，我们将看到如何使用TensorBoard快速试验不同的训练超参数，以更深入地了解我们的神经网络。准备数据建立模型训练模型分析模型的结果超参数实验在本系列的这一点上，我们已经了解了如何使用PyTorch构建和训练CNN。在上一集中，我们展示了如何在PyTorch中使用TensorBoard，并回顾了训练过程。这一节被认为是上一节的第二部分，因此，如果您还没有看过上一节，请补学上一节的内容，以获取了解我们在这里所做的工作所需的详