模型开发部署全流程

  1. 数据集准备

根据自己任务去寻找合适的数据集,e接着进行对应数据的标注,如果是目标检测的,需要将图片放在JPEGImages文件夹唉中,标签放在Annotations文件夹中,这里要注意,吧数据集标注成coco或者voc格式,可以帮助后期剩下很多读取数据集和分割数据集的时间

接着使用paddlex --split_dataset --fromat VOC --dataset_dir 数据集路径 --val_value 0.2 --test_value 0.1命令对数据集进行划分,最后会生成train,test,val,labels四个txt文件在数据集文件夹下。

  1. 训练模型

使用paddlex可以快速实现模型的训练,首先使用paddlex的transforms方法定义数据预处理的细节,使用paddex.datasets.VOCDetectiuon,传入参数,数据集路径,训练集的txt文件,以及标签文件txte即可完成数据集的装载

接着就是选择模型

使用指令pdx.models.然后根据h智能补齐就可以看到全部的可选模型

使用??pdx.models.模型名称。可以查看我们可以修改模型的哪些参数

在选择模型后,记得修改类别数,不然就会默认使用80类,可能会产生报错或者预测不准确的问题

接着使用train方法设置对应的训练参数,比如hbatc size,learning rate等等,即可开始模型的训练过程

  1. 模型预测

使用模型的predict方法即可完成预测,e可以传入图片的路径过程图片的numpy格式,返回的结果是一个数组

  1. 模型裁剪

通常的模型i裁剪方式都是将flaot,double这种数据类型h转化成int。使用analyze_sensitivity可以分析模型参数的n敏感度,使用prune可以对模型的flops进行裁剪

  1. 模型部署

在gitee拉去apddlex的仓库,里面有一个deploy的文件夹,里面就是推理1的工具库,有c++推理和python推理

使用指令!paddlex --export_inference --model_dir=./yolov3_mobilenet --save_dir=./可以将动态图模型导出成静态图,一般推理目前都是使用静态图

  1. EasyEdge部署——不用写一行代码

根据上面的方式先获取模型的静态图模型

进入到EasyEdge的操作页面,点击上传模型,输入如下内容
请添加图片描述

然后就提交模型,就完成了

点击生成模型——>生成端模型->选择对应的设备,然后等待他生成结束就好了

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Hugging Face 是一个为自然语言处理(NLP)任务开发的开源软件库,它提供了许多预训练的模型和用于模型训练的工具。下面是 Hugging Face 模型训练的一般流程: 1. 数据准备:首先,你需要准备用于训练的数据。这可能包括文本语料库、标注数据或其他适用于你的任务的数据集。 2. 数据预处理:在将数据输入模型之前,通常需要进行一些预处理步骤,如分词、标记化、特征工程等。Hugging Face 提供了一些用于文本处理的工具库,如 tokenizers 和 transformers。 3. 模型选择:根据你的任务需求,选择一个适合的模型架构。Hugging Face 提供了各种预训练的模型,如 BERT、GPT、RoBERTa 等,并且还提供了这些模型的 PyTorch、TensorFlow 和 JAX 版本。 4. 模型训练:使用准备好的数据集和模型架构,进行模型的训练。你可以使用 Hugging Face 提供的模型训练脚本,也可以根据自己的需求编写自定义训练脚本。 5. 超参数调优:在训练过程中,可以调整一些超参数,如学习率、批量大小、训练轮数等,以优化模型的性能。Hugging Face 提供了一些用于超参数优化的工具库,如 Optuna 和 Ray Tune。 6. 模型评估:在训练完成后,使用测试集或验证集对模型进行评估,以了解其在任务上的表现。Hugging Face 提供了一些用于评估的指标和工具。 7. 模型保存:将训练好的模型保存下来,以便后续使用或部署。Hugging Face 提供了一些用于模型保存和加载的函数和工具。 8. 模型应用:使用训练好的模型进行推理、生成或其他相关任务。Hugging Face 提供了一些用于模型应用的工具和示例代码。 以上是 Hugging Face 模型训练的一般流程,具体的步骤和实现方式可能会因任务和需求的不同而有所变化。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值