pyTorch
一抹烟霞
这个作者很懒,什么都没留下…
展开
-
PyTorch——(8) 正则化、动量、学习率、Dropout、BatchNorm
文章目录正则化L-1正则化实现L-2正则化动量学习率衰减当loss不在下降时的学习率衰减固定循环的学习率衰减DropoutBatch Norm 正则化 L-1正则化实现 PyTorch没有L-1正则化,所以用下面的方法自己实现 L-2正则化 一般用L-2正则化 weight_decay 表示λ\lambdaλ 动量 moment参数设置上式中的β\betaβ,表式上一时刻梯度所占的比例0~1之间 学习率衰减 当loss不在下降时的学习率衰减 固定循环的学习率衰减 Dropout Dropout原创 2021-04-28 18:47:32 · 478 阅读 · 0 评论 -
PyTorch——(7) MNIST手写数字识别实例
网络结构 代码 import torch import torch.nn as nn import torch.nn.functional as F import torch.optim as optim from torchvision import datasets, transforms batch_size=200 learning_rate=0.01 epochs=10 # 下载数据 train_loader = torch.utils.data.DataLoader( datas原创 2021-04-26 22:01:04 · 137 阅读 · 0 评论 -
PyTorch——(6)2D函数优化实例
最小值点有4个 import numpy as np from mpl_toolkits.mplot3d import Axes3D from matplotlib import pyplot as plt import torch def himmelblau(x): return (x[0] ** 2 + x[1] - 11) ** 2 + (x[0] + x[1] ** 2 - 7) ** 2 # x = np.arange(-6, 6, 0.1) # y = np.arange(原创 2021-04-25 22:12:20 · 128 阅读 · 0 评论 -
PyTorch——(5)自动梯度计算
文章目录声明需要进行自动梯度进行自动梯度 声明需要进行自动梯度 未申明的变量将无法进行自动梯度 申明方法有两种 # 在创建完成后,申明自动梯度 x = torch.ones(1) x.requires_grad() # 在创建时,就申明自动梯度 w = torch.full([1],2,requires_grad=True) 进行自动梯度 也有两种方法 其中loss必须是一个标量 每次自动梯度后。图会被销毁,导致下次调用自动梯度失效,可以设置retain_graph= True保持图不被销毁 ...原创 2021-04-25 21:24:43 · 167 阅读 · 0 评论 -
pyTorch——(1)基本数据类型
文章目录torch.tensor()torch.FloatTensor()torch.empty()torch.zeros()torch.ones()torch.eye()torch.randn()torch.rand()torch.randint()torch.full()torch.normal()torch.arange()torch.linspace()torch.randperm()torch.from_numpy()x.item()isinstance数据类型检验 torch.tensor()原创 2021-04-25 16:59:53 · 172 阅读 · 1 评论