Pytorch
Mariooooooooooo
这个作者很懒,什么都没留下…
展开
-
pytorch中的loss.backward()和optimizer.step()中的使用的梯度方向问题
在这个例子中,loss.backward() 计算的梯度方向是损失函数上升的方向,而 optimizer.step() 则使用了梯度的负方向来更新模型参数。原创 2023-12-05 11:11:58 · 541 阅读 · 0 评论 -
A.requires_grad_(),设置为TRUE,则更新一次,A的值将被更新一次.
【代码】A.requires_grad_(),设置为TRUE,则更新一次,A的值将被更新一次.。原创 2023-12-04 23:24:34 · 413 阅读 · 0 评论 -
子类和父类存在同名函数的时候。
【代码】子类和父类存在同名函数的时候。原创 2023-10-27 12:24:41 · 181 阅读 · 0 评论 -
.permute(),.contiguous()和.view()函数
contiguous()一般在permute()等改变形状和计算返回的tensor后面,因为改变形状后,有的tensor并不是占用一整块内存,而是由不同的数据块组成,而tensor的view()操作依赖于内存是整块的,这时只需要执行contiguous()这个函数,把tensor变成在内存中连续分布的形式。permute函数将tensor的维度换位。原创 2023-08-02 10:24:27 · 193 阅读 · 0 评论 -
torch.nn.Module
model.parameters()方法返回的是一个生成器generator,每一个元素是从开头到结尾的参数,parameters没有对应的key名称,是一个由纯参数组成的generator,而state_dict是一个字典,包含了一个key。原创 2023-07-15 08:47:36 · 110 阅读 · 0 评论 -
torch.tile用法
【代码】torch.tile用法。原创 2023-07-10 18:59:06 · 627 阅读 · 0 评论 -
gumbel softmax
gumbel softmax允许模型从离散的分布(比如类别分布categorical distribution)中采样的这个过程变得可微,从而允许反向传播时可以用梯度更新模型参数。原创 2023-07-03 14:41:46 · 170 阅读 · 0 评论 -
pytorch动态调整学习率torch.optim.lr_scheduler import MultiStepLR
简单来说,就是分阶段调整学习率.。原创 2023-06-27 22:18:20 · 450 阅读 · 0 评论 -
PyTorch的自动混合精度(AMP)
作用:降低显存使用情况使用方法比较简单,且好理解,可以参照这篇博客https://zhuanlan.zhihu.com/p/165152789原创 2023-06-17 20:54:17 · 29 阅读 · 0 评论 -
四种随机种子数设置的含义
参考链接:原创 2023-04-15 21:30:47 · 81 阅读 · 0 评论 -
Unable to get repr for <class torch.Tensor>
我遇到这个问题的原因是,数据已经放到GPU上,但是模型还在Cpu上,因此会遇到这个问题.解决方法就是,先把模型也放到GPU上,然后在把放到GPU上的数据输入到模型中.原创 2023-03-31 20:03:20 · 681 阅读 · 0 评论