![](https://img-blog.csdnimg.cn/20201014180756757.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Pytorch学习笔记
文章平均质量分 63
晴明大大
这个作者很懒,什么都没留下…
展开
-
【Pytorch】修改网络后加载预训练权重
内容本文章带大家如何给自己修改过后的网络,加载预训练权重。很多小伙伴针对某一模型进行修改的时候,在修改模型后想要加载预训练权重,会发现频频报错,其实最主要原因就是权重的shape对应不上。注意:以下方法仅仅针对于在原网络改动不大的情况下加载预训练权重!1、.pt文件----->model:从.pt文件直接加载预训练权重。# 模板ckpt = torch.load(weights) # 加载预训练权重model = Model() # 创建我们的模型model_dict = mode原创 2022-05-16 19:07:21 · 11917 阅读 · 17 评论 -
【Pytorch】netron可视化——靠谱的使用方法
【Pytorch】netron可视化,最准确的使用方法!在神经网络结构可视化这一块,有很多比较实用的工具,但目前来说我看的比较舒服的还是微软小哥开发的Netron软件。最近又遇到了一些问题,在可视化yolov5结构的时候,使用官方自带的export.py导出的结构图跟设计的有些出入,使用的是torch.onnx.export方法,将模型导出为onnx格式,再使用Netron打开,这种方式虽然确实可以,但是在可视化yolov5结构的时候,卷积层模块莫名其妙出现了残差结构,同样在可视化简单模型的时候,BN层原创 2022-05-11 21:11:20 · 1610 阅读 · 0 评论 -
彻底搞懂交叉熵、信息熵、相对熵、KL散度、交叉熵损失函数
熵什么是熵呢?简单来讲,熵就是表示一个事件的确定性程度如何。通常,一个信源发送出什么符号是不确定的,衡量它可以根据其出现的概率来度量。比如假设事件Q,有A、B、C三种情况都是有概率性发生的,但是不定。如果其中A比B、C两种种发生的概率更大,那么事件Q发生A的可能性更加确定,换句话说,不确定性更小;如果其中A与B、C两种发生的概率都相等,那么事件Q发生A、B、C的情况都有可能,不确定会发生哪一个,换句话说,不确定性更大。所以确定性程度越大(即不确定性程度越低),熵越小;确定性程度越低(即不确定性程度原创 2022-04-29 18:50:37 · 3372 阅读 · 3 评论 -
【Pytorch】4 训练一个图像分类器(Pytorch官方手册CIFAR10案例)
构建图像分类网络(案例)引言对于视觉,我们已经创建了一个叫做 totchvision的包,该包含有支持加载类似Imagenet,CIFAR10,MNIST等公共数据集的数据加载模块 torchvision.datasets和支持加载图像数据数据转换模块 torch.utils.data.DataLoader。CIFAR10数据集,它包含十个类别:‘airplane’, ‘automobile’, ‘bird’, ‘cat’, ‘deer’, ‘dog’, ‘frog’, ‘horse’, ‘ship’原创 2021-12-12 11:47:20 · 2584 阅读 · 0 评论 -
【Pytorch】3 简单的神经网络构建
简单的神经网络构建神经网络可以通过torch.nn来构建。现在对于自动梯度(autograd)有一些了解,神经网络是基于自动梯度 (autograd)来定义一些模型。一个 nn.Module包括:层和一个方法 forward(input) 它会返回输出(output)。一个典型的神经网络训练过程包括以下几点:定义一个包含可训练参数的神经网络迭代整个输入通过神经网络处理输入计算损失(LOSS)反向传播梯度到神经网络的参数更新网络的参宿和,典型的用一个简单的更新方法:weight = we原创 2021-12-12 11:46:01 · 1264 阅读 · 0 评论 -
【Pytorch】2 Autograd 自动微分
自动微分示例一:简单求导求导列出out方程,对x,y进行求导。require_grad:某一tensor设为True则代表该变量被跟踪,相当于数学中被视为变量x,可用于求导。out.backward:代表对out方程式进行求导。import torchx = torch.ones(2, 2, requires_grad=True)y = torch.ones(2, 2) * 2y.requires_grad_()print(x)print(y)z = 3 * (x + 2 * y原创 2021-12-12 11:42:22 · 1115 阅读 · 0 评论