![](https://img-blog.csdnimg.cn/20210716092649959.jpg?x-oss-process=image/resize,m_fixed,h_224,w_224)
pytorch相关
文章平均质量分 69
pytorch相关
小殊小殊
为人在世 幸遇升平 自当立一番好言 行一番好事业
展开
-
torch.Storage()是什么?和torch.Tensor()有什么区别?
torch.Tensor()大家都很熟悉,torch中操作的数据类型都是Tensor。Storage在实际使用中却很少接触,但它却非常重要,因为Tensor真正的数据存储在Storage中,接下来我将结合代码简单的介绍一下Storage。原创 2023-09-15 11:06:30 · 442 阅读 · 5 评论 -
深度学习参数初始化(一)Xavier初始化 含代码
Xavier初始化也称为Glorot初始化,因为发明人为Xavier Glorot。Xavier initialization是 Glorot 等人为了解决随机初始化的问题提出来的另一种初始化方法,他们的思想就是尽可能的让输入和输出服从相同的分布,这样就能够避免后面层的激活函数的输出值趋向于0。........................原创 2022-06-30 19:54:45 · 36903 阅读 · 12 评论 -
深度学习参数初始化(二)Kaiming初始化 含代码
Xavier初始化在ReLU层表现不好,主要原因是relu层会将负数映射到0,影响整体方差。而且Xavier初始化方法适用的激活函数有限:要求关于0对称;线性。而ReLU激活函数并不满足这些条件,实验也可以验证Xavier初始化确实不适用于ReLU激活函数。所以何恺明在对此做了改进,提出Kaiming初始化,一开始主要应用于计算机视觉、卷积网络。...原创 2022-07-13 14:00:01 · 26657 阅读 · 11 评论 -
pytorch主流backbone实现
计算机视觉主流backbone收集源码https://github.com/oaifaye/backbone-pytorchdataset network params top1 err top5 err epoch(lr = 0.1) epoch(lr = 0.02) epoch(lr = 0.004) epoch(lr = 0.0008) total epoch cifar100 mobilenet 3.3M 34.0.原创 2021-09-29 13:17:32 · 531 阅读 · 0 评论 -
pytorch 计算网络参数个数
params = list(net.parameters())k = 0for i in params: l = 1 print("该层的结构:" + str(list(i.size()))) for j in i.size(): l *= j print("该层参数和:" + str(l)) k = k + lprint("总参数数量和:" + str(k))原创 2021-09-28 15:13:16 · 394 阅读 · 2 评论 -
pytorch 模型保存与加载
一、模型保存有两种形式:保存整体模型(包括模型结构和参数)、只保存模型参数import torchdevice = torch.device('cuda' if torch.cuda.is_available() else 'cpu')# 保存整体模型output_dir = 'checkpoint.ckp'model_to_save = model.module if hasattr(model, "module") else modeltorch.save(model_to_sa..原创 2021-07-16 08:47:56 · 1162 阅读 · 0 评论