Python数据清洗

1、缺失值的处理

准备：pandas、numpy、sklearn.preprocessing中的Imputer类

import pandas as pd
import numpy as np
from sklearn.preprocessing import Imputer

data = pd.DataFrame(np.random.randn(6, 4), columns=['col1', 'col2', 'col3', 'col4'],
                    index=['a', 'b', 'c', 'd', 'e', 'f'])
## 1
print(data)
# 切片 提取 1:2 左闭右开 增加缺失值 区别loc ix
data.iloc[1:2, 1] = np.nan
data.iloc[4, 3] = np.nan
## 2
print(data)
# 查看缺失值 true即为缺失
nan_all = data.isnull()
## 3
print(nan_all)
# 获得含有na的列
nan_lie = data.isnull().any()
# 获得全部为na的列
nan_lielie = data.isnull().all()
## 4
print(nan_lie)
## 5
print(nan_lielie)

# 直接丢弃缺失值
data2 = data.dropna()

# 使用sklearn将缺失值替换为特定值
# 先建立替换规则,默认均值，还可以是中位数（median）或众数（most_frequent)或
# 四分位数等，axis默认0，使用列做计算逻辑（类似取列的均值）
nan_model = Imputer(miss