datasets的一些使用技巧

#加载某类文件作为数据集

dataset = load_dataset("json", data_files="./train_pair_1w.json")

#只加载验证集

datasets=load_dataset("sunzeyeah/chinese_chatgpt_corpus",split="validation")

#打乱数据集

train_dataset=datasets["train"].shuffle(seed=666)

#加载数据集中的子数据集

datasets = load_dataset("clue",name="afqmc",#trust_remote_code=True)

train_dataset=datasets[“train”]

#load_dataset加载某类文件（json,csv,text）

ds=load_dataset(“json”,data_files=”path.json”)

data_files = {"train": "train.csv", "test": "test.csv"}

dataset = load_dataset("dataset_name", data_files=data_files)

 

#构造数据集

try_dataset=train_dataset[:10]

dataset = Dataset.from_dict(try_dataset)

dataset_dict = DatasetDict({'train': dataset})

Dataset_dict才可以使用map方法

#用脚本的方式加载dataset：

from datasets import load_dataset

ds = load_dataset('path/to/local/loading_script/loading_script.py', split='train')

#使用save_to_disk之后的加载方式：（必须是save_to_disk保存过的，不然不能这样加载，用load_datset加载）

ds.save_to_disk("path/to/dataset/directory")

ds = load_from_disk('path/to/dataset/directory')

#如果文件夹里面有train,test等多个文件夹，那么就需要用DatasetDict

c3 = DatasetDict.load_from_disk("./c3/")

更多加载方式以及参数：

https://huggingface.co/docs/datasets/v2.16.1/en/package_reference/main_classes#datasets.Dataset.save_to_disk