📖Pytorch 小tricks和note
文章平均质量分 83
记录一下一些pytorch的一些小方法和函数等使用
风信子的猫Redamancy
在校本科大学生 B站up小白风信子的猫Redamancy 个人博客地址: https://kedreamix.github.io/
2022第十三届蓝桥杯PythonB组省一等奖,以及国赛一等奖
2022年第十二届MathorCup高校数学建模挑战赛 研究生组 二等奖
对计算机视觉,人工智能,以及机器学习等方面感兴趣
放弃不难 但坚持一定很酷
成功的法则极为简单,但简单并不代表容易
希望自己在这条路上,不孤单,不言弃,不言败
Stay Hungry,Stay Foolish
有时候没有及时回私信等等,可以发邮件咨询,1016617094@qq.com,你们的问题我都会认真看和回答的
展开
-
PyTorch中,18个速度和内存效率优化技巧
深度学习模型的训练/推理过程涉及很多步骤。在有限的时间和资源条件下,每个迭代的速度越快,整个模型的预测性能就越快。我收集了几个PyTorch技巧,以最大化内存使用效率和最小化运行时间。为了更好地利用这些技巧,我们还需要理解它们如何以及为什么有效。我首先提供一个完整的列表和一些代码片段,这样你就可以开始优化你的脚本了。然后我一个一个地详细地研究它们。对于每个技巧,我还提供了代码片段和注释,告诉你它是特定于设备类型(CPU/GPU)还是模型类型。原创 2022-11-20 20:53:28 · 1170 阅读 · 0 评论 -
服务器设置 SSH 通过密钥登录
今后,当你使用 PuTTY 登录时,可以在左侧的 Connection -> SSH -> Auth 中的 Private key file for authentication: 处选择你的私钥文件,然后即可登录了,过程中只需输入密钥锁码即可。这一部分相当于,将自己的公钥写到了ssh服务器中,写到authorized_keys中,这样只要有密钥对,就能正常连接,VScode也是。下面来讲解如何在 Linux 服务器上制作密钥对,将公钥添加给账户,设置 SSH,最后通过客户端登录。如此便完成了公钥的安装。原创 2022-11-20 18:42:45 · 1056 阅读 · 0 评论 -
Pytorch 常用代码
pytorch常用代码原创 2022-08-07 12:00:00 · 3460 阅读 · 0 评论 -
Pytorch学习笔记
class torchvision.transforms.RandomCrop(size, padding=0)切割中心点的位置随机选取。size可以是tuple也可以是Integer。class torchvision.transforms.RandomHorizontalFlip随机水平翻转给定的PIL.Image,概率为0.5。即:一半的概率翻转,一半的概率不翻转。.转为tensor:transforms.ToTensorclass torchvision.transforms.ToTen.原创 2021-05-20 15:07:20 · 12340 阅读 · 0 评论 -
这是一张机器&深度学习代码速查表
这是一张机器&深度学习代码速查表原创 2022-07-23 11:45:00 · 2293 阅读 · 0 评论 -
Pytorch的冻结以及解冻
其实大多数时候我们需要根据我们的任务调节我们的模型,所以很难保证模型和公开的模型完全一样,但是预训练模型的参数确实有助于提高训练的准确率,为了结合二者的优点,就需要我们加载部分预训练模型。因为需要剔除原模型中不匹配的键,也就是层的名字,所以我们的新模型改变了的层需要和原模型对应层的名字不一样,比如resnet最后一层的名字是fc(PyTorch中),那么我们修改过的resnet的最后一层就不能取这个名字,可以叫fc_...原创 2022-07-26 12:00:00 · 2980 阅读 · 0 评论 -
GAN的详细介绍及其应用(全面且完整)
通过姿势的附加输入,我们可以将图像转换为不同的姿势。例如,右上角图像是基础姿势,右下角是生成的图像。下面的优化结果列是生成的图像。该设计由二级图像发生器和鉴频器组成。生成器使用元数据(姿势)和原始图像重建图像。判别器使用原始图像作为设计标签输入的一部分。跨域名转让将很可能成为第一批商业应用。GANs将图像从一个领域(如真实的风景)转换为另一个领域(莫奈绘画或梵高)。例如,它可以在斑马和马之间转换图片。Cyclegan构建了两个网络G和F来构建从一个域到另一个域以及反向的图像。不同姿态下的合成面。......原创 2022-07-25 14:00:00 · 5679 阅读 · 3 评论 -
Pytorch 训练技巧
在PyTorch中使用交叉熵损失函数的时候会自动把label转化成onehot,所以不用手动转化,而使用MSE需要手动转化成onehot编码。去除dim指定的且size为1的维度,维度大于1时,squeeze()不起作用,不指定dim时,去除所有size为1的维度。验证模型时不需要求导,即不需要梯度计算,关闭autograd,可以提高速度,节约内存。在加载预训练模型的时候,我们有时想冻结前面几层,使其参数在训练过程中不发生变化。指定GPU的命令需要放在和神经网络相关的一系列操作的前面。.........原创 2022-07-28 11:45:00 · 5413 阅读 · 0 评论 -
智能硬件语音控制的时频图分类挑战赛2.0(思路以及结果,目前top5)
这里记录一下,有关我学习的一些思路和过程,在2022年讯飞的开发者大赛中做的一些比赛,以及去得的一些成功。原创 2022-07-16 14:40:40 · 2322 阅读 · 3 评论 -
sklearn集成学习之VotingClassifier
在机器学习中,我们可以对KNN、逻辑回归、SVM、决策树、神经网络等预测的结果进行投票,少数服从多数最终决定预测结果。在sklearn中提供了一个Voting Classifier的方法进行投票。这是属于集成学习的一种。Voting Classifier分为Hard和Soft两种方式。原创 2021-12-01 09:08:24 · 9691 阅读 · 0 评论 -
Tensor to img && imge to tensor (pytorch的tensor转换)
在pytorch中经常会遇到图像格式的转化,例如将PIL库读取出来的图片转化为Tensor,亦或者将Tensor转化为numpy格式的图片。而且使用不同图像处理库读取出来的图片格式也不相同,因此,如何在pytorch中正确转化各种图片格式(PIL、numpy、Tensor)是一个在调试中比较重要的问题。本文主要说明在pytorch中如何正确将图片格式在各种图像库读取格式以及tensor向量之间转化的问题。......原创 2022-07-23 12:12:18 · 7025 阅读 · 0 评论 -
Pytorch自动混合精度(AMP)介绍与使用 - autocast和Gradscaler
Pytorch自动混合精度(AMP)介绍与使用文章目录Pytorch自动混合精度(AMP)介绍与使用背景:一.什么是AMP?二、为什么要使用AMP?三.如何使用AMP?四. 注意事例:背景:pytorch从1.6版本开始,已经内置了torch.cuda.amp,采用自动混合精度训练就不需要加载第三方NVIDIA的apex库了。本文主要从三个方面来介绍AMP:一.什么是AMP?二.为什么要使用AMP?三.如何使用AMP?四. 注意事项一.什么是AMP?默认情况下,大多数深度学习框架都采用32原创 2022-04-24 00:26:07 · 4424 阅读 · 0 评论 -
Pytorch 各个GPU版本CUDA和cuDNN对应版本
pytorch 不同版本对应的cudatorch、torchvision、cuda 、python对应版本匹配,参照官网https://pytorch.org/get-started/previous-versions/CUDA与显卡驱动:https://docs.nvidia.com/cuda/cuda-toolkit-release-notes/index.html原创 2021-12-17 22:27:04 · 67166 阅读 · 3 评论 -
视觉神经网络模型优秀开源工作:PyTorch Image Models(timm)库
PyTorch Image Models(timm) 是一个优秀的图像分类 Python 库,其包含了大量的图像模型(Image Models)、Optimizers、Schedulers、Augmentations 等等.除了使用进行预训练以外,还有一个常见的预训练模型库,叫做,这个库是由来自加拿大温哥华Ross Wightman创建的。里面提供了许多计算机视觉的SOTA模型,可以当作是torchvision的扩充版本,并且里面的模型在准确度上也较高。在本章内容中,我们主要是针对这个库的预训练模型的使用做原创 2022-07-16 18:15:51 · 6710 阅读 · 0 评论