PyTorch学习笔记
文章平均质量分 94
PyTorch使用过程中的一些记录和总结,供大家参考学习。
TensorSense
一位致力于开源教程编写与学习的工程师,主要方向为计算机视觉、自然语言处理、大语言模型的工业项目应用,擅长各类“AI+”项目的技术方案验证、设计和开发。欢迎与我交流,yts3221@126.com
展开
-
PyTorch的hook及其在Grad-CAM中的应用
文章目录hook简介PyTorch的四个hook1. torch.Tensor.register_hook(hook)2. torch.nn.Module.register_forward_hook3. torch.nn.Module.register_forward_pre_hook4.torch.nn.Module.register_backward_hookhook简介pytorch中的...原创 2019-07-30 21:54:32 · 7900 阅读 · 6 评论 -
PyTorch 学习笔记(八):PyTorch的六个学习率调整方法
pytorch中提供了六种方法供大家使用,下面将一一介绍,最后对学习率调整方法进行总结。原创 2019-06-17 08:23:57 · 4149 阅读 · 1 评论 -
PyTorch 学习笔记(七):PyTorch的十个优化器
本文截取自《PyTorch 模型训练实用教程》,获取全文pdf请点击:https://github.com/tensor-yu/PyTorch_TutorialPyTorch提供了十种优化器,在这例就看看都有哪些优化器。#1. torch.optim.SGD#class torch.optim.SGD(params, lr=, momentum=0, dampening=0, weight_...原创 2019-05-07 09:11:21 · 22492 阅读 · 2 评论 -
PyTorch 学习笔记(六):PyTorch的十八个损失函数
本文截取自《PyTorch 模型训练实用教程》,获取全文pdf请点击:https://github.com/tensor-yu/PyTorch_Tutorial文章目录1.L1loss2.MSELoss3.CrossEntropyLoss4.NLLLoss5.PoissonNLLLoss6.KLDivLoss7.BCELoss8.BCEWithLogitsLoss9.MarginRanking...原创 2019-04-04 09:13:13 · 14436 阅读 · 7 评论 -
PyTorch 学习笔记(五):Finetune和各层定制学习率
本文截取自《PyTorch 模型训练实用教程》,获取全文pdf请点击:https://github.com/tensor-yu/PyTorch_Tutorial文章目录一、Finetune之权值初始化第一步:保存模型参数第二步:加载模型第三步:初始化二、不同层设置不同的学习率补充:我们知道一个良好的权值初始化,可以使收敛速度加快,甚至可以获得更好的精度。而在实际应用中,我们通常采用一个已经训...原创 2019-03-20 08:52:00 · 2912 阅读 · 1 评论 -
Pytorch:RuntimeError: DataLoader worker (pid 27) is killed by signal: Killed. Details are lost due
问题描述:在Docker中运行Pytorch,并且DataLoader采用了多进程(num_workers>0),当内存不足时报错如下:RuntimeError: DataLoader worker (pid 27) is killed by signal: Killed. Details are lost due to multiprocessing. Rerunning with n...原创 2019-02-20 10:53:42 · 8567 阅读 · 0 评论 -
PyTorch 学习笔记(四):权值初始化的十种方法
本文截取自《PyTorch 模型训练实用教程》,获取全文pdf请点击:https://github.com/tensor-yu/PyTorch_Tutorial文章目录Xavier,kaiming系列;其他方法分布PyTorch在torch.nn.init中提供了常用的初始化方法函数,这里简单介绍,方便查询使用。介绍分两部分:Xavier,kaiming系列;其他方法分布Xavier...原创 2018-12-31 11:30:18 · 7113 阅读 · 1 评论 -
PyTorch 学习笔记(三):transforms的二十二个方法
号外:20万字的《PyTorch实用教程》(第二版)于 2024 年 4 月开源了!号外:20万字的《PyTorch实用教程》(第二版)于 2024 年 4 月开源了!号外:20万字的《PyTorch实用教程》(第二版)于 2024 年 4 月开源了!在第一版的基础上,融入。此外,针对技术落地的关键环节,还深入讲解了的应用,铺平工程部署的道路。愿 20 万字的教程助力每位读者更上一层楼!原创 2018-12-26 20:35:04 · 50609 阅读 · 14 评论 -
PyTorch 学习笔记(二):PyTorch的数据增强与数据标准化
本文截取自《PyTorch 模型训练实用教程》,获取全文pdf请点击:https://github.com/tensor-yu/PyTorch_Tutorial文章目录transform的使用在实际应用过程中,我们会在数据进入模型之前进行一些预处理,例如数据中心化(仅减均值),数据标准化(减均值,再除以标准差),随机裁剪,旋转一定角度,镜像等一系列操作。PyTorch有一系列数据增强方法供大家...原创 2018-12-20 21:54:43 · 17276 阅读 · 3 评论 -
PyTorch 学习笔记(一):让PyTorch读取你的数据集
本文截取自《PyTorch 模型训练实用教程》,获取全文pdf请点击:https://github.com/tensor-yu/PyTorch_Tutorial转载请注明出处:原创 2018-12-19 20:15:08 · 60312 阅读 · 34 评论