huggingface的参数使用(HfArgumentParser+parser.parse_args_into_dataclasses+TrainingArguments)

最新推荐文章于 2024-08-29 10:04:09 发布
最新推荐文章于 2024-08-29 10:04:09 发布
阅读量32 收藏
点赞数
分类专栏： huggingface源码解读教程 文章标签： python 人工智能 huggingface 参数构建 大模型
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_38252409/article/details/141633539
版权

文章目录

前言

在使用大模型时候，我们经常遇到参数传参问题，如何构建一个参数方法，即可使用默认参数，也可使用命令方式传参，是大模型构建的第一步。而大模型经常使用HfArgumentParser+parser.parse_args_into_dataclasses+transformers.TrainingArguments等方式来实现。介于此，我解读了大模型通用构建方法，重在方法掌握，而参数如何构建可通过你自己的想法。

一、parser.parse_args_into_dataclasses

1、parse_args_into_dataclasses的原理

parser.parse_args_into_dataclasses() 是 Hugging Face Transformers 库中的一个方法，用于解析命令行参数并将其转换为 Python 的数据类（dataclass）。在Hugging Face的transformers库中，这个方法通常用于处理模型训练、评估、预测等任务的命令行参数。这些参数可以包括模型类型、训练步数、学习率、数据集路径等。这个方法的工作原理是，它会查找当前模块或父模块中定义的任何数据类（使用@dataclas

了解本专栏 订阅专栏 解锁全文 超级会员免费看
tangjunjun-owen
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
python-parser.parse_args()解析参数
u010104218的博客
06-09 1万+
1.使用 argparse 的第一步是创建一个 ArgumentParser 对象： 对 ArgumentParser 构造方法的调用都会使用 description= 关键字参数(可以忽略description= 只传递关键字参数.其中,包含的参数类型有:name or flags - 选项字符串的名字或者列表,例如 foo 或者 -f, --foo. action - 命令行遇到参数时的动作，默认值是 store. store_const-表示赋值为const; append-将遇到的值存储成列表，也
使用parser.parse_args()出错
ID_TMOD的博客
11-25 605
使用parser.parse_args()出错
关于python parser.parse_args()中解析参数
热门推荐
shenjianhua005的专栏
01-22 2万+
import argparse parser = argparse.ArgumentParser(prog='PROG') parser.add_argument('-f'，'--foo') # 其实这里面 -f,--foo都是可选参数，就是传参的时候可以传，也可以不传 但是如果设置了"-f"，和"--foo"，那解析后的值是存放着foo中的，即默认dest是foo 如果只设置一个，这dest=f1，就是解析后的结果存放在f1中，想要获取到存放在f1中的结果，要这样 args = pars.
【Python基础】parse_args() | HfArgumentParser | 读入json参数文件
发现问题，并解决问题，批判性思维
05-05 1万+
parse_args()的使用： 建立解析对象：parser = argparse.ArgumentParser()； 给parser实例添加属性：parser.add_argument('-epoches', type=int, default=15, help='batch size for dataloader')； 增加属性； 通过args = parser.parse_args()把刚才的属性从parser给args，后面直接通过args使用。 import argparse if __na
【工程实践】解决parser.parse_args()报错 --- An exception has occurred, use %tb to see the full traceback.
Dong_ZH的博客
03-14 5267
由于在jupyter notebook中，args不为空。添加 args=[]
（转）parser.parse_args()的解释
weixin_46028606的博客
08-16 915
转载的python的parse args的解释
使用python的parser.add_argument()在卷积神经网络中如何预定义参数？
对方正在输入中...
05-12 4309
在训练卷积神经网络时需要预定义很多参数，例如batch_size, backbone,dataset,dataset_root等等，这些参数多而且特别零散；如果我们最初不把这些参数定义，到时候修改是一件特别麻烦的事情，需要逐个修改；所以这个时候用到了python的add_argument()很好的规避了这些问题。 首先讲，argparse是Python内置的一个用于命令项选项与参数解析的模块，argparse模块可以让人轻松编写用户友好的命令接口。程序定义它需要的参数，然后argparse将弄清如何从sy
parser.add_argument用法
weixin_45564943的博客
11-16 1万+
parser.add_argument用法 detect.py文件： if __name__ == '__main__': parser = argparse.ArgumentParser() parser.add_argument('--cfg', type=str, default='cfg/yolov3-spp-6cls.cfg', help='*.cfg path') parser.add_argument('--names', type=str, default='d...
transformer.HfArgumentParser案例以及Debug
sjxgghg的博客
06-15 3373
HfArgumentParser可以将类对象中的实例属性转换成转换为解析参数。类对象是@dataclass()创建的类对象。本文提供了Pycharm的参数输入方式，可用作Debug
if __name__ == "__main__": import argparse parser = argparse.ArgumentParser( description=__doc__) # 使用设备类型 parser.add_argument('--device', default='cuda:2', help='device') # 检测目标类别数 parser.add_argument('--num-classes', type=int, default='3', help='number of classes') # 数据集的根目录(VOCdevkit) parser.add_argument('--data-path', default='./', help='dataset root') # 训练好的权重文件 parser.add_argument('--weights-path', default='./save_weights_resNet/resNetFpn-model-0.pth', type=str, help='training weights') # batch size parser.add_argument('--batch_size', default=1, type=int, metavar='N', help='batch size when validation.') args = parser.parse_args() main(args)
07-12
这段代码使用 argparse 解析命令行参数，并调用了一个名为 main() 的函数，传入参数 args。 具体解析的参数包括： - `--device`：用于指定设备类型，默认值为 'cuda:2'。 - `--num-classes`：用于指定检测目标的...
argparse库的学习笔记及案例（python命令行进行传参）
LJC的博客
08-06 539
下面记录下学习python的argparse库的相关用法以及主要示例。 主要分为以下六步： import argparse导入库 parser = argparse.ArgumentParser() 建立解析对象 parser.add_argument("–data_root", type=str, default=’./data’, help=“path to Dataset”)添加各种变量，可以用一个函数专门放置，也可以直接放在主函数当中。 args = parser.parse_args() 把pa
Adapter Transformers 模型训练
u013546508的博客
02-26 1713
from transformers import BertForSequenceClassification from transformers import AdapterType, MultiLingAdapterArguments, HfArgumentParser, AdapterConfig model = BertForSequenceClassification.from_pretrained(model_name, num_labels=n_label) parser = HfArgumen
PyTorch笔记 - MAE(Masked Autoencoders) PyTorch源码
Mystra
12-20 2090
掩码的自编码器是可扩展的视觉学习器MAE结构：ViT的不同类型：An Image is worth 16X16 words: Transformers for Image recognition at scale。
python12 中，No module named‘distutils‘错误
qq_43557600的博客
08-27 1万+
python12 “ No module named'distutils' ”,​ 安装 pip install setuptools ，解决 ​
centos7 安装 superset4.0.2 教程
m0_37759590的博客
08-27 1万+
centos7 安装 superset4.0.2 教程
【python】关于判断空值None、判断len()=0，和 if not 的区别
Meggie35的博客
08-28 6452
python的“空”与“无”之辩，关于None，和空数值。在程序中，判断里面没有值和判断东西是不是为空，也是不一样的东西，我们可以往下看看具体的区别。
【Python-办公自动化】批量修改EXCEL指定内容
最新发布
2202_76035290的博客
08-29 3034
欢迎来到"花花 Show Python"，一名热爱编程和分享知识的技术博主。在这里，我将与您一同探索Python的奥秘，分享编程技巧、项目实践和学习心得。无论您是编程新手还是资深开发者，都能在这里找到有价值的信息和灵感。我热衷于将复杂的技术概念以简单易懂的方式呈现给大家，让每个人都能享受到编程的乐趣。我相信，通过不断的学习和实践，我们都能够成为更好的开发者。如果您喜欢我的内容，别忘了点击关注哦！这样您就可以第一时间获取我的更新和分享。您的支持是我不断前进的动力。
宝塔面板网站SSL证书到期如何手动和自动续签Let’s Encrypt
weixin_45734165的博客
08-27 1480
宝塔面板提供2种免费的SSL证书：宝塔SSL，Let’s Encrypt。前面第1，2步骤主要是手动续签，比较稳定可靠，唯一的缺点是需要进入后台进行操作，并且有时候可能忘记续签。实际上宝塔面板还提供了很多计划任务的脚本，可以自动续签Let’s Encrypt证书。不管是给网站部署SSL还是给网站SSL续签，利用宝塔后台来进行网站SSL证书的管理还是比较方便高效的。2.手动续签：网站设置后台点击【SSL】》【Let’s Encrypt】》【续签】1.手动续签：登录宝塔面板后台，点击【网站】》【设置】
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

tangjunjun-owen

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值