推荐 Huggingface 开源社区 里边包含大量: 模型 数据集 配置文件等
数据处理:
几类常用函数: sort 排序 例: sorted_dataset = dataset.sort('label') 将数据中的label标签进行排序 sorted_dataset['label'][:10] 前十行 [-10:]后十行
shuffle 乱序 例: shuffled_dataset = sorted_dataset.shuffle(seed=42) 乱序
选择 select dataset.set([0,10,20,30,40,50])
split 切分 shard 分桶(将数据均匀分配程几份)
列操作和列转换 rename_colunm remove_columns
map
def add(x):
return x**2 #计算x的平方
lists = range(11) #创建包含 0-10 的列表
a = map(add,lists) #计算 0-10 的平方,并映射
print(a) # 返回一个迭代器:<map object at 0x0000025574F68F70>
print(list(a)) # 使用 list() 转换为列表。结果为:[0,