DataWhale动手学数据分析Task02

1. 第二章：数据清洗及特征处理

我们拿到的数据通常是不干净的，所谓的不干净，就是数据中有缺失值，有一些异常点等，需要经过一定的处理才能继续做后面的分析或建模，所以拿到数据的第一步是进行数据清洗，本章我们将学习缺失值、重复值、字符串和数据转换等操作，将数据清洗成可以分析或建模的样子。

1.1 缺失值观察与处理

1.1.1 任务一：缺失值观察

对于数据缺失值的观察主要可以通过pandas中的两个函数来完成，分别是isnull和isna（两个函数没有区别），并且通过与sum的组合可以计算出每列中缺失值的总和、比例。
若想要对某一列有缺失值对应的行进行观察，可以利用Series上的isna或者notna进行布尔索引。

import pandas as pd
df = pd.read_csv('./example.csv')
df[df.Sex.isna()].head()

若想要对某一个列或者多个列中对应多个值或一个值缺失的行进行观察，可以利用isna、notna和all、any的组合进行检索。

import pandas as pd
df = pd.read_csv('./example.csv')
TestSet = ['Sex','Age','Cabin']
df[TestSet.isna().all(1)]#全部缺失
df[TestSet.isna().any(1)]#至少有一个缺失
df[TestSet.notna().all(1)]#没有缺失

1.1.2 任务二：缺失值处理

处理缺失值可使用的函数有dropna函数与fillna函数。

其中，dropna函数的主要参数为：

参数	作用
axis	轴方向
how	删除方式
thresh	删除的非缺失值个数阈值
subset	备选的删除子集

fillna函数的主要参数为：

参数	作用
value	填充值，可以是标量也可以是索引到元素的字典映射
method	填充方法
limit	表示连续缺失值的最大填充次数

【思考】检索空缺值用np.nan,None以及.isnull()哪个更好，这是为什么？如果其中某个方式无法找到缺失值，原因又是为什么？

【回答】数值列读取数据后，空缺值的数据类型为float64所以用None一般索引不到，比较的时候最好用np.nan

1.2 重复值观察与处理

对于数据中重复值的观察与处理主要使用函数duplicated()与drop_duplicates()来完成。

1.3特征观察与处理

1.3.1分箱处理

所谓分箱操作就是在建模过程中对连续特征的离散化，其包含有等距分箱、等频分箱等操作。

如将数据中连续变量Age平均分箱成5个年龄段，并分别用类别变量12345来表示：

df['AgeCut'] = pd.cut(df['Age'], 5, labels=[1,2,3,4,5])

又或将连续变量Age划分为[0,5) [5,15) [15,30) [30,50) [50,80)五个年龄段，并分别用类别变量12345表示：

df['AgeCut'] = pd.cut(df['Age'], [0, 5, 15, 30, 50, 80], labels=[1,2,3,4,5])

或者将连续变量Age按10% 30% 50% 70% 90%五个年龄段，并用分类变量12345表示：

df['AgeCut'] = pd.qcut(df['Age'],[0,0.1,0.3,0.5,0.7,0.9],labels = [1,2,3,4,5])

对于数据的分箱操作、区间构造操作主要通过pandas中cut、qcut两个函数来完成。
对于cut函数，最重要的参数为bin，如果传入整数n，则代表把整个传入数组的按照最大和最小值等间距地分为n。
bins还可以传入指定区间分割点的列表，cut另外的常用参数为labels，其代表划分区间的名字。

从用法上来说，qcut与cut几乎没有差别，只是将bins参数变成q参数，q参数为整数时，按照n等分位把数据分箱。

1.3.2 对文本变量进行变换

对文本数据的变量名及种类进行查看主要通过value_counts()函数来完成，如：

df['Embarked'].value_counts()

返回结果如下所示：
对文本数据变量名及种类进行观察后可以对其进行转换，可以使用数值变量或者one-hot编码来完成对于文本变量的表示。

方法一、利用replace函数完成转换

df['Sex_num'] = df['Sex'].replace(['male','female'],[1,2])

方法二、利用map函数完成转换

df['Sex_num'] = df['Sex'].map({'male': 1, 'female': 2})

方法三、使用sklearn.preprocessing的LabelEncoder来完成转换

from sklearn.preprocessing import LabelEncoder
for feat in ['Cabin', 'Ticket']:
    lbl = LabelEncoder()  
    label_dict = dict(zip(df[feat].unique(), range(df[feat].nunique())))
    df[feat + "_labelEncode"] = df[feat].map(label_dict)
    df[feat + "_labelEncode"] = lbl.fit_transform(df[feat].astype(str))

对于将类别文本转换为one-hot编码，可通过get_dummies()函数来完成：

for feat in ["Age", "Embarked"]:
    x = pd.get_dummies(df[feat], prefix=feat)
    df = pd.concat([df, x], axis=1)

1.3.3 文本特征提取

如从纯文本Name特征里提取出Titles的特征(所谓的Titles就是Mr,Miss,Mrs等)

df['Title'] = df.Name.str.extract('([A-Za-z]+)\.', expand=False)
df.head()

完成上述文本特征提取的函数为str.extract()函数。
提取既可以认为是一种返回具体元素（而不是布尔值或元素对应的索引位置）的匹配操作，也可以认为是一种特殊的拆分操作。