Pandas数据清理

1、数据清洗

我们拿到的数据通常是不干净的，所谓的不干净，就是数据中有缺失值，有一些异常点等，需要经过一定的处理才能继续做后面的分析或建模，所以拿到数据的第一步是进行数据清洗。

1.1缺失值观察

(1) 查看每个特征缺失值个数

df.isnull().sum()   #方法一
df.info()              #方法二

1.2缺失值处理

处理缺失值一般有几种思路:
(1) 删除
(2)均值、中位数、众值填充
(3)KNN填充法，填充近邻的数据，先利用knn计算临近的k个数据，然后填充他们的均值
(4) 机器学习预测值填充，把缺失值作为新的label，建立模型得到预测值
一般来说，(2)、(3)最为常用，因为效果稳定，且速度快，在建立baseline以后，可以把(2)、(3)都试一下

1.21删除缺失值

df.dropna()  #删除所有带缺失数据的行
df.dropna( thresh = n )  #这一行除去NA值，剩余数值的数量大于等于n，便显示这一行

1.22对缺失值填充

df[df['Age'] == np.nan] = 0   #检索空缺值用np.nan要比用None好
df.fillna(value={'A': 0, 'B': 1, 'C': 2, 'D': 3})     #fillna更专业，可以对不同的列填充不同的值

1.3重复值观察与处理

样本中可能会存在重复的样本，剔除掉会好一些

1.3.1 查看重复值

df[df.duplicated()]

1.3.2 删除重复值

df.drop_duplicates()

2、特征处理

我们对特征进行一下观察，特征大概分为数值型特征、文本型特征。
数值型特征又分离散型特征和连续型特征。
数值型特征一般可以直接用于模型的训练，但有时候为了模型的稳定性及鲁棒性会对连续变量进行离散化。文本型特征往往需要转换成数值型特征才能用于建模分析。

2.1对连续型特征进行分箱（离散化）处理

分箱操作就是通过某些方式数据分成一个个的区间，每个区间为1个label。

#将连续变量Age平均分箱成5个年龄段，并分别用类别变量12345表示
df['AgeBand'] = pd.cut(df['Age'], 5,labels = ['1','2','3','4','5'])
##等距分箱，划分为[0,5) [5,15) [15,30) [30,50) [50,80)五个年龄段
df['AgeBand'] = pd.cut(df['Age'],[0,5,15,30,50,80],labels = ['1','2','3','4','5'])
#等频分箱，按10% 30% 50 70% 90%划分为五个年龄段
df['AgeBand'] = pd.qcut(df['Age'],[0,0.1,0.3,0.5,0.7,0.9],labels = ['1','2','3','4','5'])

2.2对文本变量进行数值化处理

(1) 查看文本变量名及种类
(2) 将文本变量Sex， Cabin ，Embarked用数值变量12345表示
(3) 将文本变量Sex， Cabin， Embarked用one-hot编码表示
(4)将文本变量Sex， Cabin， Embarked用word2vec编码表示
查看类别文本变量名及种类

df['Sex'].value_counts()
df['Sex'].unique()
df['Sex'].nunique()  # 返回unique的数量

将类别文本转换为12345

#方法一: replace
df['Sex_num'] = df['Sex'].replace(['male','female'],[1,2])
#方法二: map
df['Sex_num'] = df['Sex'].map({'male': 1, 'female': 2})
#方法三: 使用sklearn.preprocessing的LabelEncoder
from sklearn.preprocessing import LabelEncoder
for feat in ['Cabin', 'Ticket']:
    lbl = LabelEncoder()  
    label_dict = dict(zip(df[feat].unique(), range(df[feat].nunique())))
    df[feat + "_labelEncode"] = df[feat].map(label_dict)
    df[feat + "_labelEncode"] = lbl.fit_transform(df[feat].astype(str))

将类别文本转换为one-hot编码

for feat in ["Age", "Embarked"]:
x <span class="token operator">=</span> pd<span class="token punctuation">.</span><span class="token function">get_dummies</span><span class="token punctuation">(</span>df<span class="token punctuation">[</span>feat<span class="token punctuation">]</span><span class="token punctuation">,</span> <span class="token keyword">prefix</span><span class="token operator">=</span>feat<span class="token punctuation">)</span>
df <span class="token operator">=</span> pd<span class="token punctuation">.</span><span class="token function">concat</span><span class="token punctuation">(</span><span class="token punctuation">[</span>df<span class="token punctuation">,</span> x<span class="token punctuation">]</span><span class="token punctuation">,</span> axis<span class="token operator">=</span><span class="token number">1</span><span class="token punctuation">)</span>

小tips

从纯文本提取出Titles(所谓的Titles就是Mr,Miss,Mrs等)：

df['Title'] = df.Name.str.extract('([A-Za-z]+)\.', expand=False)
df.head()