超级会员免费看
本文介绍了Hugging Face的Datasets库，包括如何下载和使用开源数据集，以及BuilderConfig的配置。此外，还讲解了如何利用Datasets进行数据预处理。接着，文章探讨了Transformers的Trainer模块，它简化了模型微调训练，并通过TrainingArguments进行参数配置。最后，提到了Evaluate库，这是一个用于模型和数据集评估的Python库，支持多种评估方法和环境。
数据集处理库Hugging Face Datasets
Datasets 首先解决数据来源问题
使用 Datasets 下载开源数据集
Datasets.load_dataset 实现原理简介
构造 DatasetBuilder 类的主要配置 BuilderConfig
如果您想向数据集添加额外的属性，例如类别标签。有两种方法来填充BuilderConfig类或其子类的属性
- 在datasets DatasetBuilder.BUILDER_CONFIGS()属性中提供预定义的BuilderConfig类（或子类）实例列表。
- 当调用load_dataset()时，各参数默认值会直接读取 BuilderConfig 类的预定义值，否则会被覆盖。
订阅专栏 解锁全文
扫一扫
230
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
