1、数据集加载类torch.utils.data.DataLoader
其中的参数collate_fn,可以通过这个函数对样本进行进一步处理,原则上返回值是一个有结构的batch。
2、pickle包
import pickle
data = ... # Some Python object
f = open('somefile', 'wb')
pickle.dump(data, f)
将一个对象保存到一个文件中。
s = pickle.dumps(data)
将一个对象转储为一个字符串。
# Restore from a file
f = open('somefile', 'rb')
data = pickle.load(f)
# Restore from a string
data = pickle.loads(s)
从字节流中恢复一个对象。
3、numpy.percentile()
numpy.percentile(a, q, axis)
在数组a的axis维上,小于等于整