numpy和pandas的数据乱序

import numpy as np
import pandas as pd
import sklearn
import urllib
import os
import tarfile

数据乱序

我们分别介绍numpy.ndarray和pandas.dataframe的乱序。

numpy.ndarray

拆分前，一般会先对数据进行随机排序。

numpy.random中有shuffle()和permutation()2个函数均可用于对数据进行乱序。主要区别在于：

• shuffle()直接对原数据进行重排，无返回值。
• permutation()复制原数据，然后再重排，返回重排后的数组。原数据没有任何变化。

生成数据：

data = np.arange(100).reshape(10,-1)
print(data)

[[ 0  1  2  3  4  5  6  7  8  9]
 [10 11 12 13 14 15 16 17 18 19]
 [20 21 22 23 24 25 26 27 28 29]
 [30 31 32 33 34 35 36 37 38 39]
 [40 41 42 43 44 45 46 47 48 49]
 [50 51 52 53 54 55 56 57 58 59]
 [60 61 62 63 64 65 66 67 68 69]
 [70 71 72 73 74 75 76 77 78 79]
 [80 81 82 83 84 85 86 87 88 89]
 [90 91 92 93 94 95 96 97 98 99]]

使用permutation()重排：

x = np.random.permutation(data)
print(x)
print(data)

[[50 51 52 53 54 55 56 57 58 59]
 [70 71 72 73 74 75 76 77 78 79]
 [40 41 42 43 44 45 46 47 48 49]
 [90 91 92 93 94 95 96 97 98 99]
 [20 21 22 23 24 25 26 27 28 29]
 [10 11 12 13 14 15 16 17 18 19]
 [30 31 32 33 34 35 36 37 38 39]
 [80 81 82 83 84 85 86 87 88 89]
 [60 61 62 63 64 65 66 67 68 69]
 [ 0  1  2  3  4  5  6  7  8  9]]
[[ 0  1  2  3  4  5  6  7  8  9]
 [10 11 12 13 14 15 16 17 18 19]
 [20 21 22 23 24 25 26 27 28 29]
 [30 31 32 33 34 35 36 37 38 39]
 [40 41 42 43 44 45 46 47 48 49]
 [50 51 52 53 54 55 56 57 58 59]
 [60 61 62 63 64 65 66 67 68 69]
 [70 71 72 73 74 75 76 77 78 79]
 [80 81 82 83 84 85 86 87 88 89]
 [90 91 92 93 94 95 96 97 98 99]]

使用shuffle()重排：

np.random.shuffle(data)
print(data)

[[40 41 42 43 44 45 46 47 48 49]
 [20 21 22 23 24 25 26 27 28 29]
 [50 51 52 53 54 55 56 57 58 59]
 [80 81 82 83 84 85 86 87 88 89]
 [30 31 32 33 34 35 36 37 38 39]
 [ 0  1  2  3  4  5  6  7  8  9]
 [60 61 62 63 64 65 66 67 68 69]
 [10 11 12 13 14 15 16 17 18 19]
 [90 91 92 93 94 95 96 97 98 99]
 [70 71 72 73 74 75 76 77 78 79]]

pandas.dataframe

对datafame进行乱序，只需要使用sample()即可。

我们使用iris数据集生成datafame:

from sklearn import datasets
iris = datasets.load_iris()
df = pd.DataFrame()
df['heigh'] = iris['data'][:,0]
df['length'] = iris['data'][:,1]
df['label'] = iris['target']

print(df.head())

   heigh  length  label
0    5.1     3.5      0
1    4.9     3.0      0
2    4.7     3.2      0
3    4.6     3.1      0
4    5.0     3.6      0

sample()方式

我们使用sample对df进行shuffle。我们可以看到df自身是没有变化的：

df_shuffle = df.sample(frac=1)
print(df_shuffle.head())
print(df.head())

     heigh  length  label
40     5.0     3.5      0
80     5.5     2.4      1
55     5.7     2.8      1
96     5.7     2.9      1
108    6.7     2.5      2
   heigh  length  label
0    5.1     3.5      0
1    4.9     3.0      0
2    4.7     3.2      0
3    4.6     3.1      0
4    5.0     3.6      0

参数frac是要返回的比例。如果需要打混后数据集的index（索引）还是按照正常的排序：

df_shuffle2 = df.sample(frac=1).reset_index(drop=True)
print(df_shuffle2.head())

   heigh  length  label
0    7.7     2.6      2
1    6.5     3.2      2
2    5.6     2.8      2
3    4.6     3.6      0
4    7.4     2.8      2

sklearn的方式

sklearn.utils.shuffle()也可以对datafame乱序：

df_shuffle3 = sklearn.utils.shuffle(df)
print(df_shuffle3.head())

     heigh  length  label
88     5.6     3.0      1
17     5.1     3.5      0
7      5.0     3.4      0
132    6.4     2.8      2
67     5.8     2.7      1

numpy的方式

不推荐此方式

df_shuffle4 = df.iloc[np.random.permutation(len(df))]
print(df_shuffle4.head())

     heigh  length  label
130    7.4     2.8      2
144    6.7     3.3      2
110    6.5     3.2      2
99     5.7     2.8      1
143    6.8     3.2      2