![](https://img-blog.csdnimg.cn/20201014180756757.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
PyTorch
文章平均质量分 51
Fighting_1997
唯有勤奋不会辜负于你。
展开
-
模型部署笔记
训练设备平台:CPU、GPU、DSP模型与硬件之间的对应关系适配复杂度mxn的结果,导致开发复杂化、效率较低等问题使用一种模型表达结构将训练框架的输出结构统一化,将模型部署复杂度从mxn转变为m+nONNX变身是一种模型格式,属于文本,不是程序,无法直接在设备上运行。因此,需要软件栈去加载ONNX模型,使其在硬件设备上高效推理。这个软件栈指的是模型的推理框架。推理框架分类硬件商自研和通用推理框架。自研推理框架底层优化较好,推理的计算效率较高,不具备普适性,无法应用到其他的芯片上。而通用推理框架是具备通原创 2023-02-26 14:43:24 · 554 阅读 · 0 评论 -
Pytorch中目标检测内容学习
pytorch目标检测内容学习原创 2022-12-05 09:48:53 · 222 阅读 · 0 评论 -
PyTorch动态图和TensorFlow静态区区别
tensorflow是先建立好图,在前向过程中可以选择执行图的某个部分(每次前向可以执行图的不同部分,前提是,图里必须包含了所有可能情况)。pytorch是每次前向过程都会重新建立一个 图,反向的时候会释放,每次的图可以不一样。...原创 2022-04-04 20:31:53 · 1389 阅读 · 0 评论 -
LSTM解决梯度消失问题
“LSTM 能解决梯度消失/梯度爆炸”是对 LSTM 的经典误解。1、首先需要明确的是,RNN 中的梯度消失/梯度爆炸和普通的 MLP 或者深层 CNN 中梯度消失/梯度爆炸的含义不一样。MLP/CNN 中不同的层有不同的参数,各是各的梯度;而 RNN 中同样的权重在各个时间步共享,最终的梯度 g = 各个时间步的梯度 g_t 的和。2、由 1 中所述的原因,RNN 中总的梯度是不会消失的。即便梯度越传越弱,那也只是远距离的梯度消失,由于近距离的梯度不会消失,所有梯度之和便不会消失。RNN 所谓梯度消失原创 2022-03-22 16:53:03 · 3073 阅读 · 1 评论 -
PyTorch载入预训练权重方法和冻结权重方法
载入预训练权重1. 直接载入预训练权重简单粗暴法:pretrain_weights_path = "./resnet50.pth"net.load_state_dict(torch.load(pretrain_weights_path))如果这里的pretrain_weights与我们训练的网络不同,一般指的是包含大于模型参数时,可以修改为net.load_state_dict(torch.load(pretrain_weights_path), strict=False)2. 修改网络结原创 2022-01-10 18:49:35 · 17525 阅读 · 14 评论 -
pytorch中model.train(),model.eval() 和 torch.no_grad()的区别
model.train()model.train()的作用是启用 Batch Normalization 和 Dropout。如果模型中有BN层或Dropout层,model.train()是保证训练时BN层能够用到每一批数据的均值和方差,对于Dropout,model.train()是随机取一部分网络连接来训练更新参数。注: model.traian()放置位置model.train() # 错误的位置for batch_idx, (data, target) in experiment.bat原创 2022-01-10 00:29:11 · 378 阅读 · 0 评论 -
解决tensorboard : 无法将“tensorboard”项识别为 cmdlet、函数、脚本文件或可运行程序的名称。
问题解决:需要在anaconda环境下打开才可以如果配置了anaconda环境路径,可以直接在cmd中cd到logs文件,如果没有配置环境,就直接使用Anaconda Prompt即可一般log日志放在run下一层文件中,cd到日志的上一层,也就是run打开网络的anaconda虚拟激活环境运行tensorboard --logdir=./即可!ctrl+C点击http://localhost:6006/页面正常显示...原创 2022-01-09 22:46:22 · 6091 阅读 · 1 评论 -
OMP: Error #15: Initializing libiomp5md.dll, but found libiomp5md.dll already initialized.
解决方法:在开头添加import osos.environ["KMP_DUPLICATE_LIB_OK"] = "TRUE"原创 2022-01-09 22:33:23 · 523 阅读 · 0 评论 -
Pytorch Kaiming 初始化(Initialization)中fan_in和fan_out的区别
mode:‘fan_in’ (default)或者‘fan_out’. 使用fan_in保持weights的方差在前向传播中不变;使用fan_out保持weights的方差在反向传播中不变。在使用过程中,一般都要默认设置fan_out见Pytorch官网详解原创 2022-01-08 21:59:43 · 1874 阅读 · 0 评论 -
PyTorch cat, stack, transpose, permute, view和reshape详解
简述使用Pytorch过程中,我们经常对torch类型矩阵进行变换,常用的命令较多,我也将常用的命令进行学习整理,欢迎各位小伙伴一起学习,有错误欢迎批评指正!1. cat对数据沿着某一维度进行拼接。cat后数据的总维数不变.比如下面代码对两个2维tensor(分别为2x3,1x3)进行拼接,拼接完后变为3x3还是2维的tensor。import torchx = torch.randn(2, 3)#tensor([[ 0.6614, 0.2669, 0.0617],# [原创 2022-01-03 17:23:51 · 1303 阅读 · 0 评论 -
torch和torchvision对应关系
torch和torchvision之间的对应关系对应关系链接下载链接cpu版本/torch版本/torchvision版本,python版本,linux/window,64位,32位原创 2021-12-13 00:07:46 · 9237 阅读 · 0 评论 -
GAN手写mnist数据集Pytorch实现
GAN网络手写数据集Pytorch实现import argparseimport osimport numpy as npimport torchvision.transforms as transformsfrom torchvision.utils import save_imagefrom torch.utils.data import DataLoaderfrom torchvision import datasetsfrom torch.autograd import Vari原创 2021-12-10 22:24:33 · 1473 阅读 · 4 评论 -
torchvision详细介绍
前言深度学习道路漫漫,唯有不断总结,脚踏实地才能造就一番就成,也不断勉励自己,不要放弃,相信自己可以的!!!共勉!!!torchvision简介torchvision是pytorch的一个图形库,它服务于PyTorch深度学习框架的,主要用来构建计算机视觉模型。以下是torchvision的构成:torchvision.datasets: 一些加载数据的函数及常用的数据集接口;torchvision.models: 包含常用的模型结构(含预训练模型),例如AlexNet、VGG、ResNet等;原创 2021-12-10 19:35:30 · 35458 阅读 · 1 评论 -
DenseNet论文详解及PyTorch复现
DenseNet1. ResNet 与 DenseNetResNet(深度残差网络,Deep residual network, ResNet):通过建立前面层与后面层之间的“短路连接”,这有助于训练过程中梯度的反向传播,从而能训练出更深的CNN网络。DenseNet:采用密集连接机制,即互相连接所有的层,每个层都会与前面所有层在channel维度上连接(concat)在一起,实现特征重用,作为下一层的输入。图1 Resnet网络的短路连接机制(其中+代表的是元素级相加操作)这样,不但减缓了梯度消原创 2021-11-27 20:45:58 · 3087 阅读 · 0 评论 -
《PyTorch深度学习实战》第十一讲
Advanced CNN传送门:https://www.bilibili.com/video/BV1Y7411d7Ys?p=11基础的网络无法很大程度上限制了我们的发挥,高级的网络能够有效的提升训练模型的精度,本节采用了GoogLeNet中的Inception主干网络和ResNet残差主干网络,经过调试,训练精度均在99%以上。GoogLeNetInception Module代码import torchfrom torch.utils.data import DataLoaderfro原创 2021-10-15 20:19:38 · 237 阅读 · 0 评论 -
《PyTorch深度学习实战》第十讲
Basic CNN传送门:https://www.bilibili.com/video/BV1Y7411d7Ys?p=10模型框架:代码import torchfrom torch.utils.data import DataLoaderfrom torchvision import transformsfrom torchvision import datasetsimport torch.nn.functional as Fimport torch.optim as optim原创 2021-10-15 20:11:09 · 1258 阅读 · 0 评论 -
《PyTorch深度学习实战》第九讲
Softmax Classifier传送门:https://www.bilibili.com/video/BV1Y7411d7Ys?p=9多分类问题中,即要保证合理的模型预测,又要保证预测类别对其它类别的限制作用。实现机理Torch.nn.CrossEntropyloss函数机理手写数据集模型框架代码import torchfrom torch.utils.data import DataLoaderfrom torchvision import transformsfrom原创 2021-10-15 20:03:55 · 210 阅读 · 0 评论 -
《PyTorch深度学习实战》第八讲
Dataset and DataLoader传送门:https://www.bilibili.com/video/BV1Y7411d7Ys?p=8数据集多Batch训练1、DataSet 是抽象类,不能实例化对象,主要是用于构造我们的数据集2、DataLoader 需要获取DataSet提供的索引[i]和len;用来帮助我们加载数据,比如说做shuffle(提高数据集的随机性),batch_size,能拿出Mini-Batch进行训练。它帮我们自动完成这些工作。DataLoader可实例化对象。原创 2021-10-15 19:53:59 · 663 阅读 · 0 评论 -
《PyTorch深度学习实战》第七讲
Multiple Dimension Input传送门:https://www.bilibili.com/video/BV1Y7411d7Ys?p=7数据集:Diabetes Dataset下载地址:链接:https://pan.baidu.com/s/1Rh-1Xv_NzHXJNGutSEU2Wg提取码:kfif一行代表一个样本,一列代表一个特征训练网络常见激活函数Full Convolution全连接训练模型import torch.nnimport numpy as n原创 2021-10-15 19:41:55 · 175 阅读 · 0 评论 -
《PyTorch深度学习实战》第六讲
Logistic Regression传送门:https://www.bilibili.com/video/BV1Y7411d7Ys?p=6学习重要内容说明:逻辑斯蒂回归和线性模型的明显区别是在线性模型的后面,添加了激活函数(非线性变换),以增强模型的适用性回归问题:逻辑回归损失函数二分类:交叉熵损失函数多分类:Softmax分类函数代码import torchimport torch.nn.functional as F# 1.准备数据x_data = torch.Tens原创 2021-10-15 19:07:47 · 117 阅读 · 0 评论 -
《PyTorch深度学习实战》第五讲
Linear Regression with PyTorch传送门:https://www.bilibili.com/video/BV1Y7411d7Ys?p=5目标:PyTorch实现线性模型预测详细标注import torchimport matplotlib.pyplot as plt# 如果运行图像时报错,请添加如下两行代码可解决问题import osos.environ['KMP_DUPLICATE_LIB_OK'] = 'TRUE'# Step:# 1. Prepare原创 2021-10-15 18:50:43 · 221 阅读 · 0 评论 -
《PyTorch深度学习实战》综述
看到这里,说明你的深度学习即将要开始了,结合PyTroch深度学习课程一定能实现搭建自己的网络。学习建议:1. 刷《PyTorch深度学习实战》视频,入门链接:https://www.bilibili.com/video/BV1Y7411d7Ys?p=12. ????花树入门3. 实战经典网络视频推荐:https://www.bilibili.com/video/BV1r7411X7LC?p=14. 看自己领域相关论文,手动复现(不只是跑通别人的开源代码)5. 纵观全局,提出自己的方法我也原创 2021-10-15 18:31:09 · 387 阅读 · 0 评论 -
《pytorch深度学习实战》第10讲作业
3x3和5x5的卷积神经网络2x2和3x3的池化层全连接层2层图像化过程结果输出:98.77%import torchfrom torch.utils.data import DataLoaderfrom torchvision import transformsfrom torchvision import datasetsimport torch.nn.functional as Fimport torch.optim as optimimport matplotlib.pyp.原创 2021-10-14 22:11:13 · 956 阅读 · 3 评论 -
PyTorch入门
PyTorch 提供两种类型的数据抽象,称为张量和变量。张量类似于Numpy中的数组,它们也可以在GPU上使用,并能够改善性能。常见张量如下:标量(0维张量)向量(1维张量)矩阵(2维张量)3维张量切片张量4维张量5维张量GPU张量标量(0维张量)x = torch.rand(10)x.size()注:标量的类型通常是FloatTensor或LongTensor向量(1维向量)temp = torch.FloatT矩阵(2维向量)boston_tensor = to原创 2021-10-13 16:51:24 · 403 阅读 · 0 评论