Task02 数据清洗及特征处理

1 数据清洗简述

我们拿到的数据通常是不干净的，所谓的不干净，就是数据中有缺失值，有一些异常点等，需要经过一定的处理
才能继续做后面的分析或建模，所以拿到数据的第一步是进行数据清洗，本章我们将学习缺失值、重复值、字符
串和数据转换等操作，将数据清洗成可以分析或建模的样子。

2 缺失值观察与处理

2.1 任务一 观察缺失值

(1) 请查看每个特征缺失值个数

#方法一
df.info()

#方法二
df.isnull().sum()

执行后发现Age， Cabin， Embarked列有缺失值。
(2) 请查看Age， Cabin， Embarked列的数据

df[['Age','Cabin','Embarked']].head(3)

2.2 任务二 对缺失值进行处理

(1) 处理缺失值一般有几种思路
一般有三种：不处理；删除；补全。
(2) 请尝试对Age列的数据的缺失值进行处理
使用了两种方法，发现都无法对缺失值进行补全

df[df['Age'] == None] = 0

df[df['Age'] == np.nan] = 0

原因是NaN是无法进行比较的，只能说明两者都不是数字。
可以通过创建Age：NaN的映射解决

df[df['Age'] .map(lambda x: np.isnan(x))] = 0
df.isnull().sum()

(3) 请尝试使用不同的方法直接对整张表的缺失值进行处理

#直接删除含缺失值的行
df.dropna().head()

从索引看出少了一些数据。

df.dropna().info()

只剩下183行数据。。。
使用0补全所有缺失值：

df.fillna(0).head()

下面对dropna()和fillna()两个函数进行解释。

DataFrame.dropna（axis = 0，how = 'any'，thresh = None，subset = None，inplace = False()

参数	说明
axis	{0或’index’，1或’columns’}，默认0；0或’index’ 删除包含缺失值的行。1或“columns”删除包含缺失值的列。
how	{‘any’，‘all’}，默认为’any’，存在任何缺失值则删除

其他参数.

DataFrame.fillna(value=None, method=None, axis=None, inplace=False, limit=None, downcast=None)

参数	说明
value	用于填充的值
method	{‘backfill’，‘bfill’，‘pad’，‘ffill’，None}，默认为None
axis	{0或’index’，1或’columns’}，修改填充方向。

pad/ffill：用前一个非缺失值去填充该缺失值
backfill/bfill：用下一个非缺失值填充该缺失值
None：指定一个值去替换缺失值（缺省默认这种方式）
其他参数.
这两种方法的inplace默认为False：创建一个副本，修改副本，原对象不变（缺省默认）。
查找缺失值时可以使用np.nan，也可以用None，但最好使用前者，总结就是很多函数能处理NaN，但是如果遇到None就会报错。

3 重复值观察与处理

#查看数据中的重复值
df[df.duplicated()].head()

duplicated()方法只会显示含有重复值的值，这里没有数据显示，说明没有一行是完全重复地。
对重复值可以直接删除：

#对重复值进行处理
df.drop_duplicates()

4 特征观察与处理

我们对特征进行一下观察，可以把特征大概分为两大类：
数值型特征：Survived ，Pclass， Age ，SibSp， Parch， Fare，其中Survived， Pclass为离散型数值特征，Age，SibSp， Parch， Fare为连续型数值特征。
文本型特征：Name， Sex， Cabin，Embarked， Ticket，其中Sex， Cabin， Embarked， Ticket为类别型文本特征。
数值型特征一般可以直接用于模型的训练，但有时候为了模型的稳定性及鲁棒性会对连续变量进行离散化。
文本型特征往往需要转换成数值型特征才能用于建模分析。

4.1 任务一：对年龄进行分箱（离散化）处理

(1) 分箱操作是什么？
在建模中，需要对连续变量离散化，特征离散化后，模型会更稳定，降低了模型过拟合的风险。所以就引入了分箱操作，其中又分为等距分箱，等频分箱。
(2) 将连续变量Age平均分箱成5个年龄段，并分别用类别变量12345表示

df['AgeBand'] = pd.cut(df['Age'], 5, labels=[1,2,3,4,5])

(3) 将连续变量Age划分为[0,5) [5,15) [15,30) [30,50) [50,80)五个年龄段，并分别用类别变量12345表示

df['AgeBand'] = pd.cut(df['Age'], [0,5,15,30,50,80], labels=[1,2,3,4,5])

(4) 将连续变量Age按10% 30% 50 70% 90%五个年龄段，并用分类变量12345表示

df['AgeBand'] = pd.qcut(df['Age'], [0, 0.1, 0.3, 0.5, 0.7, 0.9], labels=['1', '2', '3','4','5'])

下面对cut()方法和qcut()方法进行解释：

pandas.cut(x, bins, right=True, labels=None, retbins=False, precision=3, include_lowest=False, duplicates='raise', ordered=True)

参数	说明
x	要合并的输入数组。必须为一维
bins	分级依据
labels	返回的标签

其他参数.
cut()方法可以将数据分段，类似给成绩设定优良中差，比如：0-59分为差，60-70分为中，71-80分为优秀等等，而qcut()可以使用分数表示百分比进行分段。

任务二：对文本变量进行转换

(1) 查看文本变量名及种类

#方法一 value_counts()
df['Sex'].value_counts()

#方法二 unique()
df['Sex'].unique()

对应的nunique()可以查看类别个数：

df['Sex'].nunique()

(2) 将文本变量Sex， Cabin ，Embarked用数值变量12345表示

#方法一 replace
df['Sex_num'] = df['Sex'].replace(['male', 'female'],[1,2])

#方法二 map
df['Sex_num'] = df['Sex'].map({'male' : 1 ,'female':2})

#方法三: 使用sklearn.preprocessing的LabelEncoder

from sklearn.preprocessing import LabelEncoder
lbl = LabelEncoder()
lbl.fit(["male", "female"]) #训练LabelEncoder, 把male编码为0，female编码为1
df['Sex_num'] = lbl.transform(df['Sex'])  #使用训练好的LabelEncoder对原数据进行编码

可以结合之前的方法，通过循环的方式处理多个特征：

from sklearn.preprocessing import LabelEncoder
for feat in ['Cabin', 'Embarked']:
    lbl = LabelEncoder()
    label_dict = dict(zip(df[feat].unique(), range(df[feat].nunique())))
    df[feat + "_labelEncode"] = df[feat].map(label_dict)
    df[feat + "_labelEncode"] = lbl.fit_transform(df[feat].astype(str))

zip()函数将对象打包为（x,y）这样的元组，dict()函数创建{‘x’：y}这样的字典。
(3) 将文本变量Sex， Cabin， Embarked用one-hot编码表示

for feat in ["Sex", "Cabin","Embarked"]:
    x = pd.get_dummies(df[feat], prefix=feat)
    df = pd.concat([df, x], axis=1)
df.head()

get_dummies 是利用pandas实现one hot encode的方式。

pandas.get_dummies(data, prefix=None, prefix_sep='_', dummy_na=False, columns=None, sparse=False, drop_first=False)[source]

其中prefix参数为追加到列名的前缀。
concat()函数拼接多个Series，axis=1按列拼接。

任务三（附加）：从纯文本Name特征里提取出Titles的特征(所谓的Titles就是Mr,Miss,Mrs等)

Mr,Miss,Mrs后都会带一个“.”，比如Mr.alibb，可以用正则表达式’([A-Za-z]+).'提取。[A-Za-z]表示所有大小写字母，.表示字面上的“.”符号。

df['Title'] = df.Name.str.extract('([A-Za-z]+)\.', expand=False)

总结

数据清洗就是对异常值进行处理，以及进行数据提取和变化等，需要对各种函数方法都比较熟悉。