《利用python进行数据分析》之数据清洗

（一）、处理缺失值：
在进行数据分析和建模的过程中，大量的时间会花在数据准备上：加载、清理、转换以及重塑。因此，掌握了正确、高效的完成数据准备的方式会使得我们的工作效率更高。缺失数据在pandas中呈现的方式有些不完美，但对于大多数用户可以保证功能正常。对于数值数据，pandas使用浮点值NaN（Not a Number）表示缺失数据。
我们输入下面代码：

data = pd.Series(['aaa', 'bbb', 'ccc', np.nan])

产生的结果如下：

0    aaa
1    bbb
2    ccc
3    NaN
dtype: object

我们也可以用 isnull() 方法来查看缺失值

print(data.isnull())

输出结果如下（True表示这个位置为缺失值）：

0    False
1    False
2    False
3     True
dtype: bool

NA即not available，中文为：不可用。NA数据可以是不存在的数据或者是存在但是不可观察的数据（例如在数据收集过程中出现了问题）

NA的处理方法：

1.1过滤缺失值：我们可以通过 pandas.isnull 和布尔索引的手工过滤缺失值的方法，但dropna可能会更实用一些。

1.1.1在 Series 上使用 dropna 时，他会返回Series。

from numpy import nan as NA
data = pd.Series([1, NA, 3.5, NA, 7])
print(data.dropna())

输出结果为：

0    1.0
2    3.5
4    7.0
dtype: float64

我们可以看到。行索引为 1 和 3 的元素（缺失值）被删除掉。

1.1.2在处理DataFrame对象时：dropna默认会删除包含缺失值的行

data = pd.DataFrame([[1, 3.6, 3], [1, NA, NA],
                    [NA, NA, NA], [NA, 6., 3]])

建立的数据为：

     0    1    2
0  1.0  3.6  3.0
1  1.0  NaN  NaN
2  NaN  NaN  NaN
3  NaN  6.0  3.0

调用删除之后的删除为：

     0    1    2
0  1.0  3.6  3.0

我们可以看到缺失值的整行都被删除掉。

1.1.3、传入的参数为how = ‘all’ 的时候，pandas会删除所有值均为NA的行。

print(data.dropna(how = 'all'))

删除后的结果为：

     0    1    2
0  1.0  3.6  3.0
1  1.0  NaN  NaN
3  NaN  6.0  3.0

并不是所有的NA的行被删除掉，而只是某一行所有元素均为NA的时候才会删除该行。若是想删除列的话，我们加上axis = 1即可。

补全缺失值：在特定的情况下，我们可能需要以多种方式补全缺失值，而不是直接过滤缺失值。大多数情况下我们使用 fillna() 方法来补全缺失值。

print(data.fillna(0))   

fillna()的参数就是我们用来填补缺失值的数值。填补之后的结果如下：

     0    1    2
0  1.0  3.6  3.0
1  1.0  0.0  0.0
2  0.0  0.0  0.0
3  0.0  6.0  3.0

用于重建索引的插值方法也可以用于fillna（）：

data = pd.DataFrame(np.random.randn(6, 3))
data.iloc[2: ,1] = NA     #从第三行第二列开始（或者我们从索引值为（2，1）开始)
data.iloc[4: ,2] = NA     #从第五行第三列开始（或者我们从索引值为（4，2）开始）

建立完成的数据如下：

          0         1         2
0  0.929878  1.039583 -0.581990
1  0.254919 -2.111313 -0.874815
2 -0.081725       NaN  0.946258
3 -1.224365       NaN -1.164537
4 -0.800158       NaN       NaN
5 -0.252555       NaN       NaN

我们可以看到对应位置的数字变成了NAN。之后我们进行缺失值的填充

print(data.fillna(method = 'ffill'))

填充后的结果如下：

          0         1         2
0 -0.131935 -0.059509 -1.575951
1 -0.556512 -1.407413 -0.204176
2  0.257330 -1.407413 -0.514804
3 -0.394098 -1.407413  0.735544
4 -0.083222 -1.407413  0.735544
5  1.127529 -1.407413  0.735544

我们可以看出pandas按照初始的规矩（产生服从正态分布的随机数的规律）自动的对数据进行了填充。

该函数参数解释如下：

（二） 代替值：之前我们使用的fillna()方法是通过将缺失值进行填充来实现替换的特殊案例。这里我通过使用replace（）方法来实现替换。

data = pd.Series([1., -999, 5, -999, 3, 154])   #假设-999是缺失值的标识

我们创建出的data如下：

0      1.0
1   -999.0
2      5.0
3   -999.0
4      3.0
5    154.0
dtype: float64

如果我们像完成缺失值的替换，可以采用这个代码：

print(data.replace(-999, np.nan))

意思是用nan代替原数据集中的 -999，结果如下：

0      1.0
1      NaN
2      5.0
3      NaN
4      3.0
5    154.0
dtype: float64

如果想一次性代替多个值的话，我们也可以使用列表来进行被代替值的传入。

print(data.replace([154, -999], np.nan))

我们这里让 154 和 -999 均被替代掉。

0    1.0
1    NaN
2    5.0
3    NaN
4    3.0
5    NaN
dtype: float64

如果想将不同的值替换为不同的值，可以传入两个列表进去，或者传入字典。下面两句话产生的结果相同

print(data.replace([154, -999], [np.nan, 100]))
print(data.replace({154 : np.nan, -999 : 100}))

结果如下：对应的数值被对应的数值替换掉。

0      1.0
1    100.0
2      5.0
3    100.0
4      3.0
5      NaN
dtype: float64