文章目录
前言
本篇文章基于huggingface框架来探索大语言模型数据处理方法。本文主要介绍如何基于huggingface训练模式构造自己的数据,类似与torch的dataset与dataloader方式来构建大语言模型数据。为此,本文给出huggingface对大语言模型处理的loss标准,以此基础构建符合huggingface可训练数据与标签结构,也调用huggingface的数据处理库,包含load_dataset载入数据、dataset.map映射数据、concatenate_datasets连接多个数据文件方法、train_test_split如何分割成训练与验证集方法,以及如何构建类似torch的dataloader方式中的collate_fn函数,最终使用llama3构建了一个完整可训练的demo供读者参考。
一、huggingface的load_dataset
1、含义
load_dataset 是 Hugging Face Datasets 库中的一个函数,用于加载各种格式的数据集。这个函数可以处理多种数据源,包括本地文件、远程 URL、CSV 文件、JSON 文件等,并且支持自动下载和缓存数据集。
from datasets import load_dataset
# 加载本地或远程的 JSON 文件
dataset = load_dataset