一个小菜鸟的博客

1、减少全连接层的使用。2、relu(inplace=true)，inplace_abn使用半精度float16；optimizer的变换使用，理论上，sgd<momentum<adam，可以从计算公式中看出有额外的中间变量；

Pytorch.optim使用更加复杂的优化器（AdaGrad、RMSProp、Adam）在pytorch中，optim包提供了常用的优化函数。接下来的例子，使用RMSProp来优化网络：import torchimport mathx = torch.linspace(-math.pi,math.pi,2000)y = torch.sin(x)p = torch.tensor([1,2,3])xx = x.unsqueeze(-1).pow(p)model = torc

使用torch.nn实现网络的反向传播import torchimport mathx = torch.linspace(-math.pi,math.pi,2000)y = torch.sin(x)#xx的生成利用到了升维度unsqueeze(-1)对最后一维升维，然后使用广播p = torch.tensor([1,2,3])xx = x.unsqueeze(-1).pow(p)#创建模型model = torch.nn.Sequential( torch.nn.Linear(

pytorch：定义一个新的Autograd函数在pytorch的内部，每个Autograd操作符实际上包括对张量的两种操作：forward函数：从输入向量计算输出向量backward函数：是接受输出向量对于某个标量的梯度，然后计算输入向量相对于这个标量的梯度。在pytorch中，可以定义torch.autograd.Function的子类来自定义自己的Autograd函数，并且实现forward与backward两个功能。接着可以通过构造一个实例，送入输入数据的张量，来使用自定义的Au

"""__author__:shuangrui Guo__description__:"""import torchimport mathdtype = torch.floatdevice = torch.device("cpu")x = torch.linspace(-math.pi,math.pi,2000,device=device,dtype = dtype)y = torch.sin(x)a = torch.randn((),device= device,dtype=dt.

Pytorch实例1:热身——numpy在使用Pytorch之前，首先要介绍一下是使用numpy来实现网络。Numpy提供了一个n维数组对象Import numpy as npimport mathx = np.linspace(-math.pi,math.pi,2000)y = np.sin(x)a = np.random.randn()b = np.random.randn()c = np.random.randn()d = np.random.ran..

在进行pytorch官方教程学习的时候，出现了以下的错误OMP: Error #15: Initializing libiomp5md.dll, but found libiomp5md.dll already initialized.OMP: Hint This means that multiple copies of the OpenMP runtime have been linked into the program.这个错误在网上查阅资料后有一下解决方式：解决方法一：在程序代

RuntimeError: An attempt has been made to start a new process before the current process has finished its bootstrapping phase. This probably means that you are not using fork to start your child processes and you have for.

在使用pytorch运行下面代码的时候：trainset = torchvision.datasets.CIFAR10(root='./data',train=True,download=True,transform=transform)想要加载CIFAR10数据集，但是很慢，甚至直接卡在不动解决办法是通过直接到下面的网址https://www.cs.toronto.edu/~kriz/cifar-10-python.tar.gz利用迅雷下载后放到data目录下即可...