模型训练中load_from 和resume_from的区别

于 2024-06-27 19:18:53 发布
阅读量358 收藏 2
点赞数 9
分类专栏： 机器学习-深度学习 文章标签： python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_50758340/article/details/140022183
版权

load_from 和resume_from的区别

load_from和resume_from都是mmdetection库中的函数，用于加载模型文件。它们的区别在于：

  • load_from是从头开始加载整个模型文件，包括预训练模型和指定层的模型参数。而resume_from则是从上一次加载的位置继续加载模型文件。
  • load_from通常用于重新训练模型或加载新的训练集时，需要重新加载整个模型文件。而resume_from则通常用于在训练过程中意外中断后恢复训练，只需要继续加载上次未完成的训练即可。
  • 在这里插入图片描述
    在这里插入图片描述
重生之光头强下海当程序猿
关注
  • 9
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
第十三章：huggingface的resume训练源码内容
weixin_38252409的博客
06-14 216
想进一步激发开源大模型在行业领域提升性能是棘手问题。该问题会涉及开源代码二次开发进行实验测试。基于此，本教程不同文字或理论介绍内容，而从源码解读其训练逻辑、权重保存、高效微调方法(LoRA)、断点续训方法、模型推理权重处理等方法。本教程所有内容完全依托huggingface源码与相关Demo验证来解读，助力大模型使用。 本篇文章基于上篇文章Demo解读相关resume源码内容，特别是权重等相关内容加载。
第十七节 huggingface的trainner的断点续训的Demo(resume)
weixin_38252409的博客
06-01 278
在huggingface中，有关trainer内容实在太多了，我将布局6篇文章来构建有关内容。第一篇文章介绍参数；第二篇文章给出一个完整Demo，并介绍trainner源码的整体结构，呈现一个整体框架；第三篇文章介绍给出数据构造、优化器构建方法源码解读；第四篇篇文章介绍epoch外循环训练相关源码解读；第五篇文章介绍step内循环训练相关源码解读；第六篇文章介绍Resume方法内容，包含继承数据、继承优化器、继承模型等实现完整断点续训功能。 而本篇为第六篇文章，主要解读resume方法重载权重、优化器等继续
openmmflow——tutorial 2 对模型微调
weixin_43472800的博客
10-23 253
使用mmflow实现模型的微调
【Swin-Unet】官方代码预训练权重加载函数load_from()详解
CHENCHENCHEN0526的博客
08-28 2943
学习笔记
resume 和 load-from 的区别
最新发布
qq_34425255的博客
06-23 273
则是只加载模型的权重，它的训练是从头开始的，经常被用于微调模型。其中load-from需要写入配置文件中，而resume作为命令行参数传入。发现如果用户不提供 --no-validate 参数，那就是默认False，也就是训练过程中会进行验证集评估操作。既加载了模型的权重和优化器的状态，也会继承指定 checkpoint 的迭代次数，不会重新开始训练。load-from写入配置文件中。经过查看train.py代码。
mmdetection中的load_from和resume_from
weixin_56515806的博客
06-03 2155
是两个不同的函数，分别用于加载完整的模型文件和继续加载上一次未完成的训练。它们的联系在于都是用来加载模型文件的函数，但在具体的应用场景中需要根据需求选择合适的函数。都是mmdetection库中的函数，用于加载模型文件。函数来加载二进制文件和配置文件，然后将它们合并成一个完整的模型对象。函数来加载上一次保存的模型文件，并使用它来继续训练或推理。
if args.resume:从断点处开始继续训练模型——How to resume training?（Faster RCNN）
Yale-曼陀罗
03-02 6455
if args.resume: load_name = os.path.join(output_dir, 'faster_rcnn_{}_{}_{}.pth'.format(args.checksession, args.checkepoch, args.checkpoint)) print("loading checkpoint %s" % (load_name)) checkpoint = torch.load(load_name) args.session
php curlopt_resume_from不可用,php – CURLOPT_RETURNTRANSFER设置为true无法在托管服务器上运行...
weixin_35785090的博客
04-12 282
我正在尝试处理来自$data = curl_exec($ch)的结果;而不是在屏幕上打印它.为了实现这一点,我将选项CURLOPT_RETURNTRANSFER设置为true,如下所示：curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);curl_setopt($ch,...
Optimizer load_state_dict() problem
LongXinKou的博客
10-04 951
在训练MADDPG模型时，可以从环境中或者已有模型中加载获得初始的MADDPG模型。基于上面的解决思路，我们可以首先从环境中创建初始的maddpg模型。接着修改agent的。通过在网上查询，终于找到了一种可行的解决方案，也就是。相反的只需要重新创建一个优化器即可。代码，在加载模型时不加载优化器模型。终于，我们成功的将模型加载上了！将模型装在到gpu上了。但是我在加载后也通过。
关于Resume训练 精度对齐的思考
一只大憨憨的博客
06-20 121
如果想要精度对齐，需要Resume 正确的 state_dict，正确的学习率调度器，正确的恢复优化器的状态，同时还需要设置相同的随机种子。
第十五章：基于BERT模型的LoRA训练与resume方法(huggingface)
weixin_38252409的博客
06-14 271
在huggingface中，很多情况是使用LoRA方法来训练模型。有关LoRA训练获得权重与加载，以及如何LoRA继续resume训练等问题，尚未有一个较好文章说明。因此，本文将详细说明LoRA相关内容。首先介绍了LoRA...接着给出了关于LoRA训练与恢复方法Demo与介绍，包括LoraConfig配置文件介绍和PEFT的LoRA训练；并进一步解读huggingface训练期间的LoRA权重等内容加载源码解读；最后，给出训练完后LoRA权重如何与原始模型合并Demo，以此实现模型推理。
GBase8s数据库的load from语句
sinat_37436517的博客
01-21 795
使用 LOAD 语句将数据从操作系统文件插入到现有的表或视图内。 仅 DB-Access 支持 LOAD 语句。 下列示例展示名为 new_custs 的输入文件的内容： 0|Jeffery|Padgett|Wheel Thrills|3450 El Camino|Suite 10|Palo Alto|CA|94306|| 0|Linda|Lane|Palo Alto Bicycles|2344 University||Palo Alto|CA|94301| (415)323-6440 此数据文
MMdetection之train.py源码详解
weixin_45912366的博客
04-29 8856
目录 一、tools/train.py 二、源码详解 三、核心函数详解 （一）build_detector（mmdet/models/builder.py） （二）build_dataset（mmdet/datasets/builder） （三）train_detector（mmdet/apis/train.py） （四）set_random_seed： （五）get_root_logger： 一、tools/train.py 可选参数: # =========== op..
【 [mmdetection] 如何在训练中断后,接着上次训练?】
热门推荐
weixin_46600060的博客
03-28 1万+
[mmdetection] 如何在训练中断后,接着上次训练? 最近由于不知名原因,在用 faster rcnn 训练一个大型数据集的时候,在epoch= 20 的时候中断训练了.采用以下方式继续上次训练. 打开 train.py,如图: 也就是说,训练时,最后加一个–resume from 参数,然后后面跟上次训练生成的最后一个权重文件(.pth)就可以了. 因此,在命令行输入以下语句进行训练即可以完全相同的模型配置继续上次的训练啦:: python tools/train.py configs/fas
pytorch学习（一）pytorch中的断点续训
qq_37297763的博客
11-19 6918
1. 设置断点续训的目的 在遇到停电宕机，设备内存不足导致实验还没有跑完的情况下，如果没有使用断点续训，就需要从头开始训练，耗时费力。 断点续训主要保存的是网络模型的参数以及优化器optimizer的状态（因为很多情况下optimizer的状态会改变，比如学习率的变化） 2. 设置断点续训的方法 参数设置 resume: 是否进行续训 initepoch: 进行续训时的初始epoch checkpoint载入过程（这部分操作放在epoch循环前边） resume = True # 设置是否需要
mmclassification-安装使用（一）
alex1801
08-04 7137
项目地址：https://github.com/open-mmlab/mmclassification 1、环境安装 python 3.6+ mmcv 1.0.3 opencv-contrib-python 4.3.0.36 opencv-python 4.3.0.36 Pillow 7.2.0 pycocotools 2.0.1 torch 1.5.1 torchvision 0.6.1 cuda 10.1 conda install pytorch=1.5.1 cudatoolkit=10.1
使用mmdetection框架训练自己的数据集
知北行的博客
05-19 1万+
1. 数据集准备 mmdet的数据集支持 coco格式和 voc 格式, 但 voc 格式官方只自带了少量网络模型文件, 所以推荐使用 coco 格式的数据集 2. 修改mmdet/core/evalution/class_names.py和mmdet/datasets/coco.py中的标签为自建数据集的类别 class_names.py修改如下函数: coco.py修改如下函数: 重要： 修改完 class_names.py 和 voc.py 之后一定要重新编译代码，否则验证输出仍然为原类别，且训练
mmdetection入门介绍-train.py解析
士不可以不弘毅！
01-04 7777
四、train.py解析 同样，上面有单GPU测试和多GPU测试，其实上面的测试是由训练导致的。 单GPU训练 python tools/train.py ${CONFIG_FILE} 如果要在命令中指定工作目录，则可以添加参数–work_dir $ {YOUR_WORK_DIR}。如果没有指定的话就用的就是默认在config/**.py下的work_dir = './work_dirs/fas...
# 加载 一个 预先 的策略 policy.load_state_dict(torch.load(args.resume_path, map_location=args.device)) print("Loaded agent from: ", args.resume_path) import torchvision policy.eval() # 将模型转换成ONNX格式 input_shape = 24 input_names = ["input"] output_names = ["output"] dynamic_axes = {"input": {0: "batch"}, "output": {0: "batch"}} torch.onnx.export(policy, torch.randn(*input_shape), "policy.onnx", verbose=True, input_names=input_names, output_names=output_names, dynamic_axes=dynamic_axes) 根据上述的的代码改进，这个训练模型的输入形状为24
05-09
根据代码，这个训练模型的输入形状为24。在将模型转换成ONNX格式时，使用了torch.randn(*input_shape)作为输入，其中*input_shape表示将input_shape这个元组拆分成单独的参数传递给函数。因此，输入张量的形状为(24,)，即一维张量，其中包含24个元素。在此基础上，将模型转换为ONNX格式，并输出到文件"policy.onnx"中。同时，使用dynamic_axes参数指定了动态维度，即将输入和输出的第0个维度标记为"batch"，以便在推理时可以接受变长的批次大小。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值