![](https://img-blog.csdnimg.cn/20201014180756757.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
pytorch学习笔记
小杰.
这个作者很懒,什么都没留下…
展开
-
pytorch学习笔记:GPU的使用
1. GPU常用命令2. 多GPU运算3、常见错误原创 2020-08-02 10:28:20 · 169 阅读 · 0 评论 -
pytorch学习笔记:正则化
1、L2正则化(权重衰减)2、Dropout相当于训练了多个网络,测试时综合了多个网络的结果,使得网络泛化能力更强需要注意的一点是测试时需要对网络输出乘以(1-失活概率P),可以理解为假设训练时有30个神经元失活,因此训练时的输出为70个神经元的加权和,而测试时所有的100个神经元均会参与运算,那么数据的输出尺度发生了变化,因此需要乘以一项来抵消数据输出尺度的变化。3、Batch Normalization将一批数据的特征分布标准化为0均值1方差引入gama和...原创 2020-07-01 20:36:06 · 436 阅读 · 0 评论 -
pytorch学习笔记:优化器
1、优化器的概念优化器的作用:管理并更新模型中可学习参数的值,使得模型输出更接近真实标签。管理:更新哪些参数更新:根据一定的优化策略更新参数的值2、基本属性为了避免一些意外情况的发生,每隔一定的epoch就保存一次网络训练的状态信息,从而可以在意外中断后继续训练。2.1、单步调试代码观察优化器建立过程首先运行到断点出step into2....原创 2020-04-26 23:02:37 · 1209 阅读 · 0 评论 -
pytorch学习笔记:tensorboard使用
0、安装1、使用方法当设置log_dir时,comment参数不起作用;当未设置时,会在当前目录创建一个文件夹runs,里面还有一个文件夹以comment为后缀,再进去就是记录的文件,以filename_suffix设置的为后缀。...原创 2020-04-12 18:10:31 · 2721 阅读 · 1 评论 -
pytorch学习笔记:损失函数
0.定义损失函数:衡量模型输出与真实标签的差异Cost:希望训练使得预测与标签的差异小一些 Regularization:对模型增加一些约束,防止过拟合1.损失函数1.1交叉熵损失函数...原创 2020-04-10 20:56:08 · 1119 阅读 · 1 评论 -
pytorch学习笔记:模型创建及权重初始化
1、模型创建1.1、构建网络层(子模块)1.2、拼接网络层(子模块)1.3、nn.Module首先进行了8个有序字典的初始化,用来管理各个参数及网络设置一个module可以包含多个子module一个module相当于一个运算,必须实现forward()函数 每个module都有8个字典管理它的数学1.4模型容器1.4.1、nn.Seque...原创 2020-04-04 15:23:38 · 2821 阅读 · 2 评论 -
pytorch学习笔记:transforms图像增强
数据增强:对训练集进行一系列的处理变换,使训练集更丰富,从而让模型更具泛化能力。transforms----裁剪1.transforms.CenterCrop(size)功能:从图像中心裁剪指定尺寸的图片。当裁剪尺寸大于原始尺寸时,会使用0值填充,效果就是黑色像素填充2.transforms.RandomCrop(size, padding)功能:从原始图片中随机裁剪出尺寸为s...原创 2020-04-02 16:26:37 · 1410 阅读 · 0 评论 -
pytorch学习笔记:dataloader与dataset
sampler:生成索引dataset:根据索引读取图片及标签原创 2020-03-27 10:32:55 · 221 阅读 · 0 评论 -
pytorch学习笔记:autograd
# flag = Trueflag = Falseif flag: w = torch.tensor([1.], requires_grad=True) x = torch.tensor([2.], requires_grad=True) a = torch.add(w, x) # retain_grad() b = torch.add(w, 1)...原创 2020-03-10 23:12:22 · 207 阅读 · 0 评论 -
pytorch学习笔记:计算图与动态图机制
叶子结点:用户创建的结点,如x和w设置叶子结点这一概念的原因:为了节省内存,非叶子节点的梯度将在反向传播结束后被释放。import torchw = torch.tensor([1.], requires_grad=True)x = torch.tensor([2.], requires_grad=True)a = torch.add(w, x)a.retain_grad() #...原创 2020-03-09 16:26:57 · 229 阅读 · 0 评论 -
pytorch学习笔记:03张量的操作及线性回归的实现
张量的拼接torch.cat将张量按维度dim进行拼接 t = torch.ones(2,3) tt = torch.zeros(2,3) t1 = torch.cat(tensors = [t,tt],dim = 0) t2 = torch.cat([t,tt],1) print("t0:{} shape:{} \n t1:{} shape:{}"...原创 2020-03-09 16:27:13 · 266 阅读 · 0 评论 -
pytorch学习笔记:02张量的创建
1.张量是什么?张量是一个多维数组,它是标量、向量、矩阵的高维拓展torch.autograd.Variable(pytorch0.4.0版开始并入Tensor)torch.Tensortensor数据类型2.如何创建张量?1.直接创建torch.tensor(data, dtype=None, device=None, request_grad=Fals...原创 2020-03-09 16:27:28 · 470 阅读 · 0 评论