在数据处理中，可以使用data_collator函数结合切片或列表推导式来创建batch。对于普通数据集，可以直接用data_collator(eval_dataset[:3])，但处理transformer编码的数据集时，需用列表推导式，如batch=[eval_dataset[i]foriinrange(3)]，然后通过data_collator(batch)生成处理后的数据。
Q：如何简单的构建一个batch？
有一些代码喜欢把数据的预处理放在 data_collator 函数内，有时候我们希望自己构建一个batch简单的测试一下。
如果是普通的数据集可以使用：
data_collator(eval_dataset[:3])
但如果是 transformer encode的数据集，使用切片会失效，可以使用列表推导式
batch = [eval_dataset[i] for i in range(3)]
data = data_collator(batch)
print(data)
107
758
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
