wang_xinyu的博客

何为分布式训练分布式计算指的是一种编写程序的方式，它利用网络中多个连接的不同组件。通常，大规模计算通过以这种方式布置计算机来实现，这些计算机能够并行地处理高密度的数值运算。在分布式计算的术语中，这些计算机通常被称为节点（node），这些节点的集合就是集群。这些节点一般是通过以太网连接的，但是其他的高带宽网络也可以利用分布式架构的优势。并行策略的类型并行深度学习模型有两种流行的方式：模型并行、数据并行。模型并行模型并行指的是一个模型从逻辑上被分成了几个部分（例如，一些层在一部分，其他层在..

pytorch保存模型主要有两种方法：只保存参数；（官方推荐）保存整个模型 (结构+参数)。由于保存整个模型将耗费大量的存储，故官方推荐只保存参数，然后在建好模型的基础上加载。本文介绍两种方法，但只就第一种方法进行举例详解。一、只保存参数1.保存一般地，采用一条语句即可保存参数：torch.save(model.state_dict(), path)其中model指定义的模型实例变量，如 model=vgg16( ), path是保存参数的路径，如 path=’./model.pth’ ,

tensorboardX是pytorch的可视化工具tensorboard作为Tensorflow中强大的可视化工具，已经被广泛使用但针对其他框架，例如Pytorch，之前一直没有这么好的可视化工具可用，好在目前Pytorch也可以支持Tensorboard了，那就是通过使用tensorboardX，真是Pytorcher的福利！因为tensorboardX是对tensorboard进行了封装后，开放出来使用，所以必须先安装tensorboard, 再安装tensorboardX！！必须先安装te.

这个错误代码是32，是多线程问题，只需修改num_work=0就可以正常运行了。

CIFAR-10

LeNet5网络结构LeNet-5共有7层，不包含输入，每层都包含可训练参数；每个层有多个Feature Map，每个FeatureMap通过一种卷积滤波器提取输入的一种特征，然后每个FeatureMap有多个神经元。在论文上的LeNet5的结构如下，由于论文的数据集是32x32的，mnist数据集是28x28的，所有只有INPUT变了，其余地方会严格按照LeNet5的结构编写程序：网络模型class LeNet(nn.Module): def __init__(self): .