pytorch
文章平均质量分 70
闪闪发亮的小星星
这个作者很懒,什么都没留下…
展开
-
Pytorch-day09-模型微调-checkpoint
起源:解决方案:数据集1 - 数据量少,但数据相似度非常高 - 在这种情况下,我们所做的只是修改最后几层或最终的softmax图层的输出类别。数据集2 - 数据量少,数据相似度低 - 在这种情况下,我们可以冻结预训练模型的初始层(比如k层),并再次训练剩余的(n-k)层。由于新数据集的相似度较低,因此根据新数据集对较高层进行重新训练具有重要意义。数据集3 - 数据量大,数据相似度低 - 在这种情况下,由于我们有一个大的数据集,我们的神经网络训练将会很有效。但是,由于我们的数据与用于训练我们的预训练模型的数据原创 2023-08-23 18:13:51 · 828 阅读 · 0 评论 -
Pytorch-day10-模型部署&推理-checkpoint
import io# 下载预训练模型# 保存 模型权重ResNet(原创 2023-08-21 18:41:17 · 1094 阅读 · 0 评论 -
Pytorch-day09-模型微调-checkpoint
数据集3 - 数据量大,数据相似度低 - 在这种情况下,由于我们有一个大的数据集,我们的神经网络训练将会很有效。但是,由于我们的数据与用于训练我们的预训练模型的数据相比有很大不同。然后,我们可以使用在预先训练的模型中的权重来重新训练该模型。数据集2 - 数据量少,数据相似度低 - 在这种情况下,我们可以冻结预训练模型的初始层(比如k层),并再次训练剩余的(n-k)层。数据集1 - 数据量少,但数据相似度非常高 - 在这种情况下,我们所做的只是修改最后几层或最终的softmax图层的输出类别。原创 2023-08-21 18:30:59 · 1319 阅读 · 0 评论 -
Pytorch-day08-模型进阶训练技巧
1、PyTorch已经提供了很多常用的损失函数,但是有些非通用的损失函数并未提供,比如:DiceLoss、HuberLoss…等2、模型如果出现loss震荡,在经过调整数据集或超参后,现象依然存在,非通用损失函数或自定义损失函数针对特定模型会有更好的效果比如:DiceLoss是医学影像分割常用的损失函数,定义如下:[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-Fsl0SyZ6-1692613806233)(attachment:image-2.png)]原创 2023-08-21 18:30:26 · 489 阅读 · 0 评论 -
Pytorch-day07-模型保存与读取
外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-0G4NTv1z-1692613764220)(attachment:ed8eb711294e4c6e3e43690ddb2bf66.png)][外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-puyISgkD-1692613764220)(attachment:image.png)]核心问题:如何去掉权重字典键名中的"module",以保证模型的统一性。原创 2023-08-21 18:29:52 · 1739 阅读 · 0 评论 -
Pytorch06-复杂模型构建
1、当模型的前向计算为简单串联各个层的计算时, Sequential 类可以通过更加简单的方式定义模型。2、可以接收一个子模块的有序字典(OrderedDict) 或者一系列子模块作为参数来逐一添加 Module 的实例,模型的前向计算就是将这些实例按添加的顺序逐⼀计算3、使用Sequential定义模型的好处在于简单、易读,同时使用Sequential定义的模型不需要再写forwardnn.ReLU(),print(net)]))原创 2023-08-21 18:29:12 · 1253 阅读 · 0 评论 -
Pytorch-day05-可视化-checkpoint
外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-lY2RsZof-1692613669971)(attachment:image.png)]原创 2023-08-21 18:28:12 · 1556 阅读 · 0 评论 -
Pytorch-day04-模型构建-checkpoint
【代码】Pytorch-day04-模型构建-checkpoint。原创 2023-08-21 18:00:04 · 1548 阅读 · 0 评论 -
pytorch2 AutoGrad
注意:grad在反向传播过程中是累加的(accumulated),这意味着每一次运行反向传播,梯度都会累加之前的梯度,所以一般在反向传播之前需把梯度清零。原创 2023-08-21 15:37:43 · 1189 阅读 · 0 评论 -
pytorch 入门1-tensor 广播 view reshape
【代码】pytorch 入门1-tensor 广播 view reshape。原创 2023-08-21 11:34:46 · 1542 阅读 · 0 评论 -
Pytorch--模型微调finetune--迁移学习 (待继续学习)
大模型无法避免过拟合,原创 2023-06-29 15:15:15 · 865 阅读 · 0 评论