机器学习–使用numpy随机打散训练数据

机器学习–使用numpy随机打散训练数据

>本文由Friskit: http://friskit.me/2014/10/22/shuffle-train-data-in-numpy/[1]修改而来。

机器学习中，如果训练数据之间相关性很大（例如：连续的语音分帧），会造成泛化能力很差。通常需要打散训练数据。

如果训练数据data的输入data_x和输出data_y未分开，可以考虑使用np.random.shuffle(data)，shuffle函数直接在data上进行随机打散。

代码块：

python
import numpy
data_x = numpy.random.random((5,3))
data_y = numpy.random.randint(0,2,size=[5,1])
data = numpy.hstack((data_x, data_y))
print(data)
numpy.random.shuffle(data)
print(data)

如果训练数据data的输入data_x和输出data_y分来，则使用numpy.random.permutation(data_x.shape[0])，permutation函数返回和data_x等长的打散的索引。

代码块：

python
import numpy
data_x = numpy.random.random((5,3))
data_y = numpy.random.randint(0,2,size=[5,1])
print(numpy.hstack((data_x, data_y)))
indices = numpy.random.permutation(data_x.shape[0])
# indices = numpy.random.permutation(len(data_x))
rand_data_x = data_x[indices]
rand_data_y = data_y[indices]
print(numpy.hstack((rand_data_x, rand_data_y)))

---