![](https://img-blog.csdnimg.cn/20190918140158853.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
pytorch踩坑日记
日常pytorc踩坑日记
CV科研随想录
关关难过关关过,前路漫漫亦灿烂!
展开
-
torch.gather函数的简单理解与使用
功能:根据索引来对高维tensor进行选择。原创 2023-03-23 16:14:14 · 216 阅读 · 0 评论 -
pytorch单机多卡混合精度分布式训练(DDP+AMP) 简单完整例程
pytorch单机多卡混合精度分布式训练(DDP+AMP) 简单完整示例原创 2022-11-06 15:15:40 · 1450 阅读 · 0 评论 -
pytorch:子模型参数冻结 + BN冻结
使用场景:需要完全冻结某部分的 weight 加载预训练模型时,如果只将 para.requires_grad = False ,并不能完全冻结模型的参数,因为模型中的 BN 层并不随 loss.backward() 与 optimizer.step() 来更新,而是在模型 forward 的过程中基于动量来更新,因此需要每个 forward 之前冻结 BN 层:完整的冻结方式如下:# 冻结BNdef freeze_bn(m): classname = ly.__class__.__na原创 2022-05-27 18:13:36 · 2583 阅读 · 4 评论 -
visdom保存训练过程中的数据
def saveVisdomData(win, env, fileName, mode='w'): ''' 模型训练完或中断时,可以先将前阶段visdom的数据保存到本地 arg: win: 窗口名称 env: 环境名称 fileName: 保存文件路径 mode: 文件保存格式 ''' # rewrite or append assert mode=='w' or mode=='a' viz = visdom.Visdom() win_d原创 2022-04-08 16:19:39 · 1888 阅读 · 0 评论 -
torch.einsum函数笔记(爱因斯坦求和约定)
爱因斯坦求和约定 爱因斯坦求和约定是可以将许多矩阵运算(向量内积、矩阵装置、高维矩阵乘法)简化的一套规则;利用这个函数,可以很方便地实现一些复杂的操作,同时使得代码紧凑;...原创 2022-03-23 21:44:07 · 1543 阅读 · 0 评论 -
pytorch中torch.nn.functional.grid_sample()函数通俗易懂的理解
通俗易懂理解F.grid_sample原创 2021-12-09 18:39:00 · 7683 阅读 · 0 评论 -
torch.nn.functional.pad函数理解
torch.nn.functional.pad(input, pad, mode=‘constant’, value=0)# 假如原来的概率体维度为[batch, depthNum, H, W]input = torch.randn(4, 8, 128, 64)padSize = (1, 2, 3, 4, 5, 6)# 对于每个batch的立方体[depthNum, H, W],立方体的左右上下前后分别用指定元素(默认是0)来填充,左边填充1面0,右边填充2面0,上面填充3面0,下边填充4面0,.原创 2022-03-08 15:35:24 · 409 阅读 · 0 评论